Pagination côté serveur avec SQL Server

par Andrew Rosca - Mis en ligne le 6/07/2005 - Publié en Octobre 2004

Une procédure stockée simple vous permet de contrôler les flux de données et d'accéder à  des millions d'enregistrements

Les applications Web utilisent fréquemment la pagination d'enregistrements afin de présenter de très grandes quantités de données aux utilisateurs. Par exemple, il n'est pas rare qu'un moteur de recherche Internet retourne des dizaines de milliers de résultats en réponse à  une requête d'un utilisateur. Si le moteur renvoyait l'ensemble des résultats en une seule fois, le système destinataire serait complètement saturé. C'est pourquoi la pagination décompose les données en blocs de taille fixe rendant possible la gestion des résultats et réduisant la quantité d'informations transférées en une seule fois du serveur vers le client ...L'application ne propose que quelques enregistrements à  la fois aux utilisateurs, en commençant de préférence par les informations les plus pertinentes. Non seulement la pagination facilite la compréhension et la consultation des données, mais elle améliore également les performances de l'application, car la récupération et l'affichage de volumes élevés d'informations créent une charge inutile qui peut ralentir votre système. Si ce dernier pagine les enregistrements correctement, les utilisateurs d'un moteur de recherche n'auront vraisemblablement pas besoin de consulter plus d'une ou deux pages de résultats.
Malheureusement, de nombreux programmeurs n'ont pas conscience de certains aspects importants de la pagination sur le plan des performances. Dans un environnement IIS et SQL Server classique, la méthode la plus fréquente de mise en oeuvre de la pagination consiste à  utiliser les fonctionnalités de pagination de l'objet ADO Recordset standard, notamment les propriétés AbsolutePage, PageSize et PageCount. Pour les volumes de données relativement faibles (entre quelques dizaines et quelques centaines d'enregistrements), ces fonctionnalités sont parfaitement appropriées et la charge qu'elles génèrent n'affecte pas sensiblement les performances. Toutefois, à  mesure que le nombre d'enregistrements augmente, cette technique perd en efficacité et entraîne une baisse sensible des performances de l'application.
Dans les applications gérant des volumes importants de données, par exemple une application d'approvisionnement qui affiche des nombres élevés de commandes, un site de rencontres gérant des milliers d'utilisateurs ou un site de commerce électronique qui affiche des centaines de produits en réponse à  une recherche d'un utilisateur, vous avez besoin de techniques de pagination côté serveur sophistiquées. Cet article présente un exemple simple de technique de codage que j'utilise pour des tables contenant plusieurs millions d'enregistrements.

Les files d’attente

par Sameer Dandage - Mis en ligne le 6/07/2005 - Publié en Octobre 2004

Si une légère attente n'est pas critique, la solution de réplication TRQU est faite pour vous

Aujourd'hui, de plus en plus d'entreprises doivent rendre leurs données disponibles sur de multiples serveurs et sur des sites distants, en préservant une synchronisation la plus étroite possible entre les données de chacun des sites. Dès lors qu'il existe plusieurs copies des données stratégiques, la disponibilité de ces dernières s'en trouve améliorée. Par exemple, en cas de défaillance d'un site, vous pouvez dévier le trafic vers un autre site ou serveur ...Par ailleurs, les administrateurs de base de données (DBA) peuvent répartir la charge sur plusieurs serveurs, afin d'éviter la surcharge de l'un deux et améliorer les temps de réponse aux requêtes des utilisateurs, en particulier si le serveur est situé à  proximité de ceux-ci. Envisageons quelques instants un scénario illustrant les besoins de failover et de répartition de la charge pour un système de base de données qui inclut une application à  trois niveaux sur deux sites géographiquement distincts. Chaque site utilise un serveur Web, un serveur d'applications et un serveur de base de données. Lorsque le fonctionnement du système est optimum, le serveur Web et le serveur d'applications de chaque site distribuent leurs requêtes utilisateur entre les deux serveurs de base de données afin qu'ils puissent se répartir la charge de travail. Toutefois, en cas d'indisponibilité d'un des deux serveurs de base de données ou d'une des bases de données, les serveurs Web et d'applications peuvent basculer toutes leurs requêtes vers le serveur de base de données de l'autre site. Dès que le premier serveur de base de données est de nouveau opérationnel, le processus de répartition des requêtes utilisateur entre les deux est rétabli.
Lorsqu'une organisation utilise un site actif et maintient l'autre en lecture seule, les tâches du DBA sont relativement simples. En revanche, son travail devient très vite complexe si l'organisation décide de placer plusieurs sites en mode actif et de synchroniser les données entre eux. Pour répondre à  ce cas de figure, SQL Server propose une option : la réplication transactionnelle. L'objet de cet article n'étant pas d'expliquer les fondements de ce mécanisme, vous trouverez plus d'informations sur le sujet en lisant la rubrique « Réplication transactionnelle » de la documentation en ligne de SQL Server.
SQL Server 2000 propose deux options de réplication transactionnelle permettant d'actualiser les données au niveau de l'abonné (Subscriber). Pour la première, intitulée « Réplication transactionnelle avec mise à  jour immédiate des Subscribers », SQL Server utilise une validation à  deux phases afin de mettre à  jour simultanément dans la même transaction l'éditeur (Publisher) et le Subscriber. La validation à  deux phases verrouille la ligne concernée sur tous les sites participant à  la réplication lorsqu'une mise à  jour est effectuée sur l'un d'eux. Ce mécanisme de verrouillage élimine toute latence entre le moment où un Subscriber est mis à  jour et le moment où le Publisher reflète la mise à  jour en question. Pour que cette option fonctionne, le Publisher et le Subscriber doivent toutefois être en cours d'exécution et connectés en permanence, faute de quoi les utilisateurs ne peuvent pas effectuer de mises à  jour sur le Subscriber.
La deuxième option est la « Réplication transactionnelle avec mises à  jour en file d'attente », que j'abrégerai en TRQU (Transactional Replication with Queued Updates) dans cet article. A la différence de la première option, la solution TRQU requiert une certaine latence entre le moment d'une mise à  jour sur le Subscriber et le moment où celle-ci est répercutée sur le Publisher. Mais cette approche présente un inconvénient : une ligne peut être mise à  jour avec des données différentes sur plusieurs sites simultanément et la cohérence des données entre les sites ne sera pas assurée tant qu'un mécanisme de résolution des conflits n'aura pas éliminé cette incohérence. Vous définissez des règles de résolution, telles que « l'éditeur gagne » (Publisher wins) ou « l'abonné gagne » (Subscriber wins), dans la configuration TRQU. En conséquence de quoi, les mises à  jour sur un site peuvent remplacer celles effectuées sur un autre. L'approche TRQU présente l'avantage suivant : le Publisher et le Subscriber ne doivent pas être connectés en permanence et le Publisher peut être arrêté pendant la mise à  jour d'un Subscriber. Par conséquent, la réplication TRQU garantit aux utilisateurs une disponibilité plus élevée d

Matérialisez vos vues

par Michelle A. Poolet - Mis en ligne le 22/06/2005 - Publié en Octobre 2004

Si vous êtes prêt à  mettre le prix, les vues indexées peuvent dynamiser vos requêtes

SQL Server 2005, la prochaine version du système de base de données de Microsoft, inclura de nombreuses fonctions et extensions destinées à  accroître votre productivité, en particulier si vous développez des applications Web orientées base de données. Toutefois, Microsoft a retardé la sortie de la version définitive du produit jusqu'au premier semestre de l'année prochaine et il faudra encore attendre au moins un an après le lancement pour voir de nombreux services de production migrer vers cette nouvelle mouture. Entre temps, vous pouvez faire beaucoup en vue d'optimiser vos bases de données SQL Server 2000 ...En tant que modéliseur de données et architecte de conception, mon instinct me pousse à  examiner et optimiser le schéma des tables. Vous savez que je plaide en faveur d'une normalisation poussée des tables, une démarche essentielle pour préserver l'intégrité des données au cours des activités d'insertion et de gestion. Les avantages de la normalisation sont supérieurs au surcroît de travail généré par les jointures multitables nécessaires à  l'extraction des données. Il est néanmoins possible de réduire sensiblement le temps système consacré à  la création d'une jointure entre quatre ou cinq tables en vue d'extraire des données d'une base de données fortement normalisée ou lié à  l'agrégation de quantités importantes de données dans un rapport récapitulatif. Pour cela, vous pouvez créer une vue et, au lieu de laisser au moteur SQL Server le soin de la reconstruire dynamiquement chaque fois qu'elle est utilisée dans une requête, vous pouvez la « matérialiser ». Dans ce cas, il ne s'agit plus d'une table virtuelle, mais d'une table physique.

Une vue constitue assurément une table virtuelle dérivée. Son objet est d'améliorer la visibilité des données en les présentant dans un contexte plus informatif et de contrôler l'accès auxdites données en empêchant les utilisateurs non concernés de visualiser celles ayant un caractère critique ou sensible. SQL Server « matérialise » ou rend réel une vue en créant un index ordonné en clusters unique sur celle-ci. C'est pourquoi ce type de vue est parfois appelé vues indexées. Comme pour un index ordonné en clusters, des données sont associées à  une vue matérialisée.

Les vues matérialisées ne constituent pas une nouveauté dans le monde des bases de données. Même si les vues indexées faisaient figure de nouveauté dans SQL Server 2000, elles existent depuis des années dans d'autres systèmes de gestion de base de données (SGBD), notamment dans les systèmes Oracle et DB2 d'IBM. Les fournisseurs de SGBD destinés aux grandes plates-formes ont développé les vues matérialisées en vue d'améliorer leurs systèmes de data warehousing. Un data warehouse regroupe dans un même référentiel de grande taille des données techniques que vous avez intégrées à  partir de sources multiples. Ce référentiel peut héberger des données détaillées d'applications opérationnelles, des données récapitulatives de systèmes d'aide à  la décision ou une combinaison des deux. Dans un data warehouse, les données sont généralement synthétisées selon plusieurs dimensions (par ex., date, emplacement, produit), puis stockées pour les interrogations agrégées par OLAP et les applications d'aide à  la décision. Nous allons maintenant examiner l'utilité d'une vue matérialisée dans d'autres environnements que les data warehouse.

Des richesses insoupçonnées à  portée de la main

par Brian Lawton - Mis en ligne le 22/06/2005 - Publié en Octobre 2004

SQL Server 2000 est en service depuis déjà  4 ans. Avec cette version, Microsoft a apporté un ensemble d'outils puissant, mais souvent sous-employé. Réfléchissez quelques instants à  votre environnement d'entreprise. Votre logiciel SQL Server sert-il à  d'autres tâches plus créatives que des sauvegardes occasionnelles ou encore des opérations basiques de lecture et d'écriture de données ? Selon Microsoft, la prochaine version majeure de SQL Server ne devrait pas être commercialisée avant le milieu de l'année 2005. Si l'on ajoute à  ce retard le temps de latence fréquent nécessaire aux clients avant qu'ils adoptent le nouveau produit, SQL Server 2000 a encore de beaux jours devant lui, au moins jusqu'en 2007. En attendant la prochaine version, examinons donc sept fonctionnalités souvent ignorées proposées par SQL Server 2000 et la manière dont elles peuvent vous aider dans vos tâches d'administration et de développement, afin d'accroître le retour sur vos investissements logiciels existants ...

Création d’un mauvais exemple

Mis en ligne le 23/11/2005 - Publié en Décembre 2004

Lorsque vous écrivez un exemple de code afin de reproduire une violation de la sécurité, l'un des défis à  relever réside dans le fait qu'un tel code, par définition, intègre de mauvaises pratiques. En lisant les exemples de code de l'article principal, vous pouvez être amené à  effectuer des commentaires du type « Je ne ferais pas... » ou « Cela ne poserait pas de problème de... ». Toutefois, le rôle d'un exemple susceptible de soulever les critiques des lecteurs est de montrer toute l'utilité de certaines bonnes pratiques.

Comment éviter les attaques par injection de code SQL

par William Sheldon - Mis en ligne le 23/11/2005 - Publié en Décembre 2004

Au moment de définir votre infrastructure de sécurité, la protection des données de votre organisation constitue votre principal objectif. SQL Server, en tant que référentiel de données, devient le centre de votre univers axé sur la sécurité. Pour sécuriser vos données, vous avez exécuté l'outil MBSA (Microsoft Baseline Security Analyzer), limité les communications avec la base de données, mis en oeuvre le protocole IPSec (Internet Protocol Security) afin de crypter vos communications et peut-être même ajouté un pare-feu séparé. Malgré tout, il reste un moyen pour les intrus d'attaquer votre base de données : par le biais des applications qu'elle prend en charge. Toute stratégie de sécurité comporte un maillon faible et, du point de la conception, l'élément le plus faible de votre stratégie sera l'application Web car elle constitue le principal point d'entrée pour les intrus, les autres chemins d'accès possibles ayant normalement été verrouillés. Toutefois, une gestion incorrecte de ce point d'entrée peut rendre vos données vulnérables à  l'attaque potentiellement dévastatrice qu'est l'injection de code SQL. Ce type d'attaque est extrêmement dommageable car elle permet aux intrus d'exécuter des commandes directement sur votre base de données.

Les paramètres en première ligne

par Rodney Landrum - Mis en ligne le 25/10/2005 - Publié en Décembre 2004

En tant qu'administrateur de base de données (DBA) et analyste de données, je ne peux pas, en dépit de tous mes efforts, toujours éviter d'écrire du code pour résoudre des problèmes complexes ou tirer parti de la richesse des outils de gestion proposés par SQL Server. Au fil des années, j'ai écrit des scripts de solutions pour toutes sortes de projets liés à  SQL Server, allant de la création de lots DTS (Data Transformation Services) à  l'écriture de code ASP (Active Server Pages), me réjouissant chaque fois que je suis parvenu à  me dépêtrer des erreurs de syntaxe et de la logique des boucles imbriquées. Toutefois, lorsque Microsoft a sorti SQL Server 2000 Reporting Services, une solution qui requiert Visual Studio .NET 2003 pour l'élaboration de rapports, j'ai craint d'être obligé de franchir le pas et de devenir un développeur accompli. Mais, en fait, vous n'avez pas besoin d'être un programmeur pour développer un rapport Reporting Services. Cet outil propose deux fonctionnalités de rapports puissantes, les paramètres et les expressions, qui une fois combinées permettent aux créateurs de rapports d'ajouter des fonctionnalités sophistiquées à  leurs rapports sans écrire du code à  rallonge.

L’automatisation des traces en 9 étapes

par Steven Berringer - Mis en ligne le 25/10/2005 - Publié en Décembre 2004

Le Générateur de profils, la fonctionnalité de trace intégrée de SQL Server, constitue un outil précieux pour l'optimisation des performances et le débogage des applications SQL Server. Vous pouvez ainsi tracer chaque requête soumise par une application de base de données à  SQL Server et exploiter ces informations pour améliorer les performances. Par exemple, si vous exécutez une trace du Générateur de profils au cours d'un processus de longue durée, vous pourrez constater que SQL Server utilise une analyse de table, rencontrant ainsi des verrous de table ou aboutissant à  d'autres événements nuisibles pour les performances. Dans la majorité des cas, je me sers du Générateur de profils à  la demande d'un développeur qui essaie de déboguer du code de base de données épineux. Parfois, si j'ai le temps, j'adopte une approche préventive et j'exécute ma trace favorite, à  savoir la trace Duration. Celle-ci recherche les processus accédant à  SQL Server et dont la durée d'exécution est supérieure à  1 seconde. Cette valeur d'une seconde semble une limite appropriée, car cela vous permet de voir les processus qui consomment le plus de ressources sans tout monopoliser.

YUKON : une mine d’or

par Michael Otey - Mis en ligne le 10/10/2005 - Publié en Octobre 2004

Yukon, dont la livraison est prévue en 2005, est la dernière version de Microsoft SQL Server. Il marque la fin d'un cycle de développement de 5 ans pour Microsoft. La firme a ajouté tellement de nouvelles fonctions à  Yukon qu'il est impossible de les énumérer toutes dans un seul article. Voici donc 13 pépites d'or que l'on risque fort de trouver dans la prochaine release notable de SQL Server.

Types de documents XML

par Michael Otey - Mis en ligne le 30/03/2005 - Publié en Avril 2004

XML est devenu un outil d'interopérabilité vital et un composant essentiel de nombreuses applications. Visual Studio .NET l'utilise en tant que principale infrastructure de programmation pour les communications intra-objets et pour la création de fichiers de projet ...Voici les sept types de documents XML utilisés le plus fréquemment par les développeurs dans les applications de base de données SQL Server.

SQL Server Actualités – Semaine 3 – 2005

Les actualités SQL Server pour le mois de Janvier 2005

SQL Server Actualités – Semaine 11 – 2005

Les actualités SQL Server pour le mois de Mars 2005

Quest Central pour SQL Server

Quest Software annonce la disponibilité de la version 5.0 de Quest Central pour SQL Server.

La suite intégrée d'outils d'administration pour les bases de données Quest Central, s'enrichit de fonctions avancées pour l'analyse et l'optimisation des performances des environnements Microsoft SQL Server.

Gestimum PME V3

GESTIMUM, éditeur d'une offre alternative de gestion intégrée destinée aux PME & PMI, filiale du Groupe EBP, lance GESTIMUM PME V3.

S'appuyant sur la technologie Microsoft SQL Server Mode Client/Serveur, GESTIMUM PME V3 se caractérise par sa richesse fonctionnelle, sa simplicité d'utilisation ses capacités inégalées de personnalisation et son ouverture sur les autres applications de l'entreprise.

Un BLOB d’une autre couleur

par Michael Otey - Mis en ligne le 19/01/2004 - Publié en Février 2004

Peut-être êtes-vous habitués aux BLOB dans ADO. Mais un BLOB dans ADO.NET, c'est autre chose

Il faut beaucoup de travail pour convertir d'anciennes applications ADO en ADO.NET. Et l'une des principales difficultés pour passer à  ADO.NET est la conversion du code d'import ou d'export de BLOB. De nombreuses fonctions d'ADO.NET et d'ADO sont très voisines ; mais l'accès BLOB n'est pas l'une d'elles ...Dans ADO, on manipule les données BLOB en utilisant les objets Recordset et Field standard avec soit les méthodes de découpage de l'objet Field, soit l'objet Stream. Or, aucun de ces objets n'existe dans ADO.NET. Dans ADO.NET, on peut utiliser le SqlDataReader pour extraire des données BLOB de la base de données SQL Server, puis utiliser les objets ADO.NET DataSet et DataField pour importer des données BLOB du système de fichiers dans SQL Server. Avant d'examiner le code utilisé pour accéder aux BLOB dans ADO.NET, commençons par examiner les BLOB.

Clustering de SQL Server

par Brian Knight - Mis en ligne le 16/03/2005 - Publié en Avril 2004

6 étapes vers la haute disponibilité de SQL Server

Pour l'administrateur de bases de données (DBA), la mise en cluster d'un SQL Server est source d'inquiétude, un peu parce que cet exercice était déjà  difficile dans SQL Server 7.0 et les releases antérieures. Heureusement, dans SQL Server 2000, le clustering est moins intimidant. Les six étapes que je couvre dans cet article constituent un canevas de base permettant d'établir un environnement en cluster pour SQL Server 2000 ...Le failover clustering est le meilleur moyen d'instaurer la haute disponibilité dans un environnement SQL Server. Pour mettre en cluster des serveurs Windows, on utilise le service Microsoft Cluster pour relier entre eux plusieurs serveurs. Avec le service Cluster, si une panne survient dans un composant matériel crucial ou dans le service SQL Server, les lecteurs, SQL Server, et les services associés, basculent tous sur un serveur secondaire. Ce basculement généralisé est automatique et prend entre 30 et 60 secondes. Avec d'autres solutions haute disponibilité de SQL Server, comme le log shipping ou la réplication, en cas de défaillance du serveur principal, quelqu'un doit changer manuellement les rôles sur le serveur secondaire. Bien que le log shipping offre une bonne solution de redondance, il s'appuie sur la maintenance manuelle et il peut être difficile à  instaurer.
Avant de commencer l'opération de clustering, il faut bien comprendre que la seule fin du clustering Windows est la haute disponibilité. En effet, le clustering n'améliore pas la performance de SQL Server puisqu'un seul serveur travaille à  la fois - les serveurs reliés ne traitent pas les requêtes ensemble. Pour voir comment le clustering trouve sa place dans le puzzle de la haute disponibilité de SQL Server, voir l'article de Michael Hotek « Solutions haute disponibilité », dans ce numéro.

Tout sur Reporting Services

par Brian Larson et Martin Voegele - Mis en ligne le 19/01/2004 - Publié en Février 2004

Tout sur le nouvel outil SQL Server 2000 : le reporting de la conception à  la livraison

Initialement, Microsoft avait l'intention de livrer Reporting Services dans le cadre de la prochaine release Yukon de SQL Server. Mais les utilisateurs qui ont reçu les toutes premières descriptions et démonstration de Reporting Services ont été séduits et ont dit à  Microsoft qu'ils voulaient ces fonctions le plus tôt possible. Microsoft a écouté et a réagi de deux manières : en faisant de Reporting Services un add-in à  SQL Server 2000 et en intégrant les fonctions dans Yukon ...Mais pourquoi ce vif intérêt ? Sans Reporting Services, le seul moyen de délivrer des informations de gestion de dernière minute sur Internet ou sur l'intranet de la société consiste à  coder des pages Web dynamiques ou à  utiliser un outil de reporting tierce partie. Malheureusement, le coding de pages dynamique est une opération longue qui nécessite généralement un développeur expérimenté et les solutions de reporting tierce partie sont onéreuses.
Grâce à  Reporting Services, des utilisateurs plus ou moins compétents pourront créer leurs propres rapports dynamiques. Bien que vous puissiez ajouter du code à  un rapport pour mieux contrôler le formatage et les données, vous pouvez construire des rapports très élaborés sans aucune expérience de programmation. Vous pouvez présenter des rapports sur Internet ou sur un intranet en plusieurs formats, dont PDF et TIFF, de bonne apparence à  la fois dans un navigateur et sous forme imprimée. De plus, Reporting Services permet d'accéder à  ces rapports de manière commode et sécurisée.
Plutôt que de créer un nouvel environnement de développement pour produire des rapports Reporting Services, Microsoft a utilisé son IDE (integrated development environment) existant, Visual Studio .NET. Vous pouvez créer des rapports avec n'importe quelle édition de Visual Studio .NET 2003. Vous pouvez déployer les rapports provenant de Visual Studio .NET sur un Report Server, qui gère la sécurité, la mise en cache des données et autres fonctions de reporting. Le Report Server délivre les rapports aux destinataires dans divers formats par la méthode pull (à  la demande de l'utilisateur) ou push (livraison planifiée).
La « colle » qui relie le rapport conçu dans Visual Studio .NET au rapport que Report Server délivre est le nouveau RDL (Report Definition Language) de Microsoft. Ce langage de type XML contient toutes les informations concernant la conception de rapports. Vous commencez par créer un rapport comme un document RDL dans Visual Studio. Ce dernier déploie ensuite le RDL sur un Report Server, lequel le stocke dans une base de données SQL Server. Quand Reporting Services délivre un rapport à  un utilisateur, il traite la définition du rapport RDL et le présente dans un format plus usuel comme une page HTML ou un document Adobe PDF.

SQL Server Actualités – Semaine 9 – 2005

Les actualités SQL Server pour le mois de Mars 2005

Fonctionnalités de haute disponibilité

La famille de produits SQL Server 2005 a été repensée afin de mieux répondre aux besoins de toutes les entreprises.

Cette ligne de produits apporte des fonctionnalités de haute disponibilité, de montée en charge, de sécurité, d'administration et d'analyse décisionnelle.

Une division entièrement dédiée aux éditeurs de logiciels

par Michael Hotek - Mis en ligne le 3/03/2005 - Publié en Avril 2004

Daniel Cohen-Zardy, Responsable Relation Editeurs de logiciels, Microsoft France répond à  quelques questions.