Data Mining Reloaded

par Alexei Bocharov et Jesper Lind - Mis en ligne le 14/06/2006 - Publié en Avril 2005

Les deux principales fonctions du data mining sont la classification et la prédiction (ou prévision). Le data mining vous aide à donner une signification aux giga-octets de données brutes stockées dans les bases de données, en identifiant les modèles et règles présents dans les données ou qui en découlent. Les analystes se servent alors de cette connaissance pour effectuer des prédictions et des recommandations sur les données nouvelles ou futures. Les principales applications de data mining du commerce vous permettent d’en savoir plus sur vos clients et sur leurs besoins, de comprendre les éléments générateurs des ventes et les facteurs qui affectent celles-ci, de concevoir des stratégies marketing et de mettre au point les futurs indicateurs de l’activité.Avec SQL Server 2000, Microsoft a renommé la solution OLAP Services en Analysis Services afin de refléter l’ajout de nouvelles possibilités de data mining. L’ensemble d’outils de data mining disponibles dans cette version de SQL Server incluait seulement deux algorithmes d’analyse classiques (clustering et arborescences de décision), un langage d’expressions de requête et de gestion de data mining spécialisé intitulé DMX, ainsi que des contrôles, visionneuses et outils de développement côté client limités.

SQL Server 2005 Analysis Services inclut un ensemble largement enrichi de méthodes de data mining et une palette d’outils d’analyse et de développement côté client entièrement nouveaux, conçus pour couvrir les besoins les plus courants en matière d’analyse décisionnelle ou BI (Business Intelligence). L’infrastructure Business Intelligence Framework dans SQL Server 2005 propose une nouvelle approche du data mining tant aux analystes qu’aux développeurs.

Nous allons, dans un premier temps, examiner rapidement le processus de data mining. Nous aborderons ensuite les sept algorithmes de data mining disponibles dans l’infrastructure SQL Server 2005 Analysis Services, puis nous jetterons un coup d’oeil à la technologie « plug-in » qui vous aidera à ajouter des algorithmes nouveaux ou personnalisés à cette infrastructure. Bien qu’il n’était pas envisageable d’aborder ici spécifiquement la conception de l’interface utilisateur, les captures incluses dans les différents exemples vous donneront un premier aperçu intéressant de la puissance et des qualités d’utilisation des nouveaux outils côté client.

L’analyse décisionnelle à  l’honneur dans SQL Server 2005

Entretien exclusif avec Bill Baker - Mis en ligne le 14/06/2006 - Publié en Avril 2005

Depuis sa mise sur pied, l’équipe SQL Server Business Intelligence (BI) de Microsoft a eu constamment un objectif en tête : rendre les données métier exploitables et accessibles pour le plus grand nombre. En tant que directeur général de l’équipe, Bill Baker travaille de concert avec les personnes chargées de la conception et du développement d’outils d’analyse décisionnelle tels que Integration Services (anciennement DTS [Data Transformation Services]), Analysis Services et Reporting Services. Dans le cadre d’une interview accordée récemment à SQL Server Magazine, il a abordé les nouveaux outils d’analyse décisionnelle de SQL Server 2005 et la manière dont ils collaborent afin de rationaliser la diffusion d’informations stratégiques pour l’entreprise.

Conférences Internet et Sécurité

SQL Server Actualités – Semaine 20 – 2006

Les actualités SQL Server de la semaine du 15 au 21 Mai 2006

Type de données T-SQL Dafetime

Le type de données datetime génère beaucoup de questions et de confusion au sein de la communauté SQL Server.

A la différence d’autres grandes plates-formes de base de données, SQL Server ne fournit pas de types de données de date et d’heure discrètes. En, fait, datetime assume à lui seul a tâche de ces deux types de données. Cette rubrique apporte des réponses à six questions posées fréquemment sur l’utilisation du type de données datetime de SQL Server.

SQL Server, nouvelles éditions : Express, Workgroup, Standard et Enterprise

Microsoft a remodelé la famille de produits SQL Server 2005 afin de mieux répondre aux besoins de tous ses clients, quelle que ce soit leur activité, et ce à l’aide de quatre nouvelles éditions : Express (version gratuite), Workgroup, Standard et Enterprise.

Découvrez des informations détaillées sur les différentes éditions.

Option d’insertion en bloc pour ADO.NET

Les clients me demandent souvent comment insérer en bloc des données dans SQL Server à partir d’applications ADO.NET.  Il n’est pas facile de répondre à cette question car ADO.NET ne comporte aucun objet intégré d’insertion en
bloc. La méthode la plus simple pour effectuer ce type d’insertion consiste à charger le DataSet avec plusieurs groupes de lignes volumineux, puis à envoyer les mises à jour à SQL Server. Vous pouvez aussi employer l’objet SqlCommand au sein d’une procédure stockée ou d’une instruction INSERT paramétrée afin d’insérer les données. Toutefois, chacune de ces deux approches est lente car elles effectuent une insertion pour chaque ligne insérée. Heureusement, les méthodes substitution suivantes sont plus performantes. Gardez à l’esprit que pour obtenir une rapidité d’insertion maximale,  il est nécessaire de supprimer les index concernés or de les importer dans des tables temporaires.

Kit ressources techniques ASP.NET

par Michael Otey - Mis en ligne le 03/05/2006 - Publié en Février 2005

Visual Studio .NET et .NET Framework proposent ASP.NET, un langage qui a inauguré une nouvelle ère en matière de programmation Web. ASP.NET propose un environnement de développement plus productif et une plateforme Web nettement plus performante que Visual Studio 6.0, basée sur COM, et le langage ASP (Active Server Pages).Le nouveau Kit de ressources techniques ASP.NET de Microsoft vient encore améliorer l’approche de la programmation ASP.NET en proposant un ensemble de didacticiels, d’exemples de code utiles, de chapitres extraits d’ouvrages et d’utilitaires gratuits. Ce kit est téléchargeable gratuitement à l’adresse http://msdn.microsoft.com/ asp.net/asprk/ . Cette rubrique présente quatre des fonctionnalités les plus utiles de ce kit.

Réindexation Automatique

L’utilitaire DBCC SHOWCONTIG élimine le stress de la défragmentation des index

La maintenance courante, notamment les tâches de réindexation, est importante
afin de préserver les performances optimales d’exécution de vos bases de
données. Lorsque vous utilisez des instructions INSERT, UPDATE ou DELETE pour
modifier les données des tables, il peut y avoir fragmentation des index. Ce phénomène
est susceptible de se produire si la séquence logique des pages est interrompue
ou si une page d’index contient moins que le volume maximum de données,
créant ainsi un vide dans la page de données ou l’index. A mesure que les
index deviennent fragmentés, les lectures de données deviennent inefficaces lors
de l’accès aux tables et les performances de la base de données diminuent.

Les nouveautés de Whidbey

par Michael Otey - Mis en ligne le 03/05/2006 - Publié en Février 2005

Les développeurs Visual Basic (VB) 6.0 apprécieront la prochaine mouture de Visual Studio .NET, nom de code Whidbey, prévue pour l’année prochaine. Bien que Visual Studio .NET constitue un environnement de développement remarquable par rapport aux outils de développement proposés auparavant par Microsoft, il n’est pas exempt de lacunes dans certains domaines. Par exemple, plusieurs fonctionnalités qui faisaient de VB 6.0 un environnement de développement productif, notamment la fonction Edit and Continue (Modifier et continuer), n’ont pas été reprises dans Visual Studio .NET. Néanmoins, Microsoft entend bien proposer de nombreuses améliorations dans sa nouvelle version, y compris cette fonction Edit and Continue. Voici sept des nouveautés très attendues de Whidbey.

SQL Server Actualités – Semaine 14 – 2006

Les actualités SQL Server de la semaine du 3 au 9 Avril 2006

StrataFrame Application Framework

MicroFour présente StrataFrame Application Framework, pour .NET 2.0. Ce produit permet de programmer dans n’importe quel langage .NET et s’intègre directement dans Visual Studio 2005 IDE.

Ce framework vous fournit des fonctionnalités améliorées au sein de ses objets.

MS Analysis : hors des sentiers battus : partie 2

par Lionel Billon - Mis en ligne le 05/04/2006 - Publié en Février 2005

Outre les membres calculés, MS Analysis Services propose plusieurs mécanismes sophistiqués pour que vous puissiez surcharger les agrégations d’un cube. Dans le précédent article, nous avions parlé des Custom Members. A présent, nous allons aborder la notion de “Custom Rollup” et de Cellules calculées.Les notions de Membres calculés, Custom Member, “Custom Rollup” et Cellules calculées ont des points communs : elles permettent de surcharger les agrégations du cube et sont définis en MDX. Elles ont également des différences, dont voici un bref rappel :

• Le Membre Calculé est associé à une dimension, il permet d’ajouter un calcul MDX matérialisé sous forme d’un nouveau membre de cette dimension.
• Le Custom Member est lui aussi associé à une dimension. Il permet cependant d’externaliser le calcul MDX d’un membre calculé classique au sein d’une table relationnelle. L’avantage par rapport au membre calculé est donc de pouvoir bénéficier automatiquement de ce calcul dans l’ensemble des cubes utilisant la dimension hôte du "custom member", sans redéfinir le calcul. (Ce qui facilite grandement les tâches d’administration).
• Le “Custom Rollup” est également associé à une dimension, plus précisément à un niveau d’une dimension. Il s’applique à tous les membres du niveau sur lequel il est appliqué à l’exception des membres calculés. Tout comme le Custom Member, le “Custom Rollup” est réagrégé automatiquement.
• La Cellule Calculée est sans doute l’outil le moins connu et le moins utilisé de MS Analysis Services. Souple et versatile, la Cellule Calculée permet de définir un calcul s’appliquant à un sous ensemble de cube (tranche de cube) sans création de membre supplémentaire. La Cellule Calculée vient tout simplement remplacer la valeur affichée dans les cellules du cube comprises dans la tranche qu’elle couvre. Si les membres calculés peuvent être, dans une certaine mesure, récursifs, les cellules calculées sont les seules à pouvoir être exécutées plusieurs fois tout en pouvant accéder aux valeurs obtenues lors des passes précédentes. Ce qui peut être fort utile pour les calculs itératifs de type « Goal Seeking ». (Par exemple, dans l’utilisation d’un calcul cherchant le pourcentage de rétribution optimal pour les commerciaux. Le calcul pourrait évaluer plusieurs scénarios : Un premier test pourrait être effectué avec une rétribution de 10%, cependant si après rétribution la rentabilité n’est plus conforme aux objectifs, le calcul pourrait tester une rétribution de 5% et si nécessaire baisser la rétribution à 3%.)

Synchronisation à  la demande

par Gary Zaika - Mis en ligne le 05/04/2006 - Publié en Février 2005

Après l’attaque du World Trade Center, le 11 septembre 2001, nombre d’organisations ont reconsidéré leur approche de la gestion et de la protection des données d’entreprise stratégiques. La mise en place d’un centre de traitement distant avec un deuxième ensemble de bases de données et de serveurs d’applications est devenue une pratique courante. Les entreprises ont accepté de supporter le coût du personnel et des centres de traitement supplémentaires, ainsi que des modifications dans la conception des applications afin de pouvoir basculer les opérations rapidement vers un autre emplacement en cas de sinistre. Par exemple, après les attaques du 11 septembre, une grande banque pour laquelle j’ai travaillé récemment comme consultant Microsoft Consulting Services a commencé à demander la configuration suivante, à savoir la possibilité d’exécuter toutes les applications cruciales à partir de l’un ou l’autre de deux sites distants de plusieurs centaines de kilomètres, sans induire une interruption du fonctionnement supérieure à 2 heures.Ces exigences économiques plus strictes constituent un défi pour les architectes de bases de données. La majorité des bases de données des organisations ne cessent de croître, mais les fenêtres admissibles pour la maintenance et les interruptions de fonctionnement sont réduites au minimum. Les bases de données doivent offrir une disponibilité maximale et être prêtes à fonctionner dans des environnements distribués, et les données des bases de données principales (l’éditeur ou publisher) et secondaires (l’abonné ou subscriber) doivent rester synchronisées en permanence.

Plusieurs solutions prennent en charge la haute disponibilité pour les bases de données SQL Server 2000 réparties sur différents sites, notamment l’envoi des journaux, les solutions matérielles et logicielles tierce partie telles que les clusters géographiques ou la solution de réplication distante du stockage SRDF d’EMC, ou encore la réplication transactionnelle. Dans la plupart des solutions de haute disponibilité, l’abonné est partiellement ou complètement indisponible pendant la synchronisation des données. Par exemple, dans le cas de l’envoi des journaux, la base de données de l’abonné est accessible en lecture seule uniquement si aucun nouveau journal des transactions n’est appliqué. Avec la solution matérielle SRDF onéreuse, la base de données de l’abonné n’est jamais disponible ; elle ne le devient que pour la restauration des données en cas d’arrêt de la base de données de l’éditeur. Seule la réplication transactionnelle permet d’utiliser pleinement la base de données de l’abonné en permanence. Cette solution est disponible dans toutes les éditions de SQL Server, d’où la possibilité d’éviter les dépenses supplémentaires liées à l’achat de logiciels tierce partie, tout en exploitant au maximum les plates-formes matérielles en place. C’est la raison pour laquelle de nombreuses entreprises ont retenu la réplication transactionnelle comme solution de haute disponibilité.

Néanmoins, cette approche ne résout pas automatiquement le problème de la synchronisation des données. La mise en place et la gestion de cette solution requiert des processus métier performants et une équipe de DBA particulièrement compétents. Nous allons, dans cet article, examiner le problème de disponibilité élevée auquel la banque pour laquelle j’ai travaillé a été confrontée lors de la mise en oeuvre de la réplication transactionnelle et de la synchronisation permanente des données. Nous verrons également comment j’ai résolu le problème en employant une nouvelle méthode que j’ai appelée « réplication forcée ».

Quest InTrust 9.0

Quest Software annonce la disponibilité simultanée de Quest InTrust 9.0, nouvelle version de la solution Quest de collecte et d’audit des événements pour les environnements hétérogènes, et de Compliance Portal, pour un contrôle simplifié, via une interface Web, du degré de conformité du système d’information aux directives internes et aux obligations réglementaires.

Les deux solutions sont intégrées à la suite Quest Compliance Suite for Windows.

SQL Server Actualités – Semaine 12 – 2006

Les actualités SQL Server de la semaine du 20 au 26 Mars 2006

Outils Best Practices Analyser

par Michael Otey - Mis en ligne le 23/03/2006 - Publié en Décembre 2004

Si vous débutez en tant qu’administrateur SQL Server ou si vous exercez votre activité de DBA à mi-temps et que vous n’êtes pas un pro de SQL Server, le nouvel outil d’administration SQL Server 2000 Best Practices Analyzer de Microsoft va vous rendre des services inestimables. Ce produit est téléchargeable à l’adresse http://www.microsoft. com/dowloads/details.aspx?familyid=b352eb1f-d3ca-44 ee- 893e-9e07339c1f22&displaylang=en. Cet outil utilise un ensemble de règles destinées à contrôler la mise en oeuvre des meilleures pratiques courantes, la plupart ciblant l’utilisation et l’administration. Ces règles incluent plus de 70 meilleures pratiques et directives fournies par Microsoft pour la gestion et l’utilisation de votre système. Vous pouvez également définir votre propre ensemble de règles. Voici mes sept règles de prédilection contrôlées par l’outil Best Practices Analyzer.

Amélioration des performances d’interrogation d’Analysis Services

par Herts Chen - Mis en ligne le 23/03/2006 - Publié en Décembre 2004

Analysis Services est un moteur de requête multidimensionnel haute performance. Il prend le relais du moteur SQL relationnel pour assurer le traitement des requêtes analytiques et statistiques. Lorsque ces requêtes sont simples ou comportent des pré-agrégations, Analysis Services peut vous faciliter la tâche. En revanche, dès que le niveau de complexité des requêtes augmente, il peut s’enliser. Par exemple, une requête SQL SELECT qui inclut une clause GROUP BY et agrège des fonctions peut nécessiter plusieurs minutes, voire plus. Il est possible de récupérer le même ensemble de résultats en quelques secondes seulement si vous exécutez une instruction MDX sur un cube MOLAP (Multidimensional OLAP) Analysis Services. L’astuce consiste à passer une requête MDX à un serveur Analysis Services lié à partir de SQL Server, en utilisant la fonction OPENQUERY dans une instruction SQL SELECT, comme l’explique la documentation en ligne de SQL Server. Analysis Services précalcule alors les agrégations nécessaires au cours du traitement et de la création du cube MOLAP, de sorte que les résultats sont disponibles en tout ou partie avant qu’un utilisateur demande à les consulter.Toutefois, il est impossible de précalculer toutes les agrégations imaginables. Même un cube MOLAP complètement traité ne peut précalculer des agrégations telles que celles présentes dans les cellules calculées, les membres calculés, les formules de cumul personnalisé, les formules de membres personnalisés, ainsi que dans les instructions FILTER et ORDER. Si vous êtes habitués aux performances associées à la seule récupération d’agrégations précalculées, les performances découlant d’une requête MDX qui intègre ces types de calcul au moment de l’exécution peut sembler beaucoup trop lentes. L’origine du problème ne réside peut-être pas dans l’impossibilité d’Analysis Services à gérer efficacement les calculs au moment de l’exécution, mais dans une conception non optimisée de votre cube MOLAP.

Au cours de mon travail de création et de gestion de data warehouse pour la ville de Portland, Oregon (Etats-Unis), j’ai optimisé Analysis Services afin que les ingénieurs de la circulation puissent accéder rapidement à une multitude de statistiques sur les accidents de la circulation en agglomération. Après de nombreux essais, j’ai découvert que l’une des clés de l’optimisation de MOLAP réside dans le partitionnement des cubes. L’objet de cet article est de présenter et de comparer différentes stratégies de partitionnement de cube MOLAP et leur incidence sur les performances d’exécution des requêtes. Il aborde ensuite quelques recommandations pour la conception de partitions

Publication de SQL Server dans Active Directory

par Chad Miller - Mis en ligne le 07/12/2005 - Publié en Décembre 2004

Vous avez peut-être remarqué la présence de l'onglet Active Directory dans la boîte de dialogue SQL Server Properties de la console Enterprise Manager et vous vous être peut-être interrogé sur le rapport existant entre Active Directory (AD) et SQL Server ainsi que sur l'avantage d'ajouter SQL Server avec ses bases de données à  AD. Les services réseau tels que les serveurs de fichiers et d'impression se servent d'Active Directory pour publier et stocker des informations relatives aux ressources qu'ils proposent. Celui-ci contient une liste des comptes utilisateur et un annuaire des ressources réseau disponibles.

MS Analysis Services : Hors des sentiers battus

par William Sheldon - Mis en ligne le 07/12/2005 - Publié en Décembre 2004

PARTIE I : LES « CUSTOM MEMBERS »

MS Analysis Services recèle un grand nombre de fonctionnalités avancées. Certaines peuvent sembler gadget de prime abord mais s'avèrent en fait particulièrement utiles dans la pratique. Cette série d'articles s'adresse en priorité à  ceux d'entre vous qui utilisent déjà  MS Analysis Services et qui souhaitent élargir leur connaissance du produit. Il permettra également à  ceux qui découvrent l'OLAP avec les technologies Microsoft de se familiariser avec de nouveaux concepts. Il ne s'agit pas bien entendu d'un exposé complet sur les fonctionnalités avancées de MS Analysis Services (la documentation en ligne livrée avec le produit est faite pour cela) mais d'un retour d'expérience sur l'utilisation concrète de certaines fonctions clés du produit qui sont souvent sous-estimées ou tout simplement méconnues.