Dénicher des profils et des tendances

Les résultats d’USGS dans un ensemble
de données comportant 20 fichiers
texte, avec des types de données
analytiques et descriptifs, ont été précédemment
publiés par le National
Geophysics Data Center (NGDC). (Voir
Hathaway, John C., 1971 Data File,
Continental Margin Program, Atlantic
Coast of the United States : WHOI
Reference No. 71-15.) Nous avons créé
une clé primaire composite basée sur
les colonnes existantes qui contenaient
le numéro de station, l’ID
échantillon, et les lettres de souséchantillon.
Puis nous avons défini la
granularité au sous-échantillon (le
code sous-échantillon identifie les
échantillons divisés à  partir d’un
échantillon plus grand). La figure 1
montre les données d’échantillon
provenant de l’un des fichiers.
Pour nettoyer les données USGS
originales, nous les avons d’abord importées
dans Microsoft Excel puis dans
Microsoft Access, et finalement dans
SQL Server 2000. Nous avons emprunté
ce circuit sinueux en raison de
la grande variation du format et de la
définition des données dans les fichiers
texte. Les fonctions d’import
dans SQL Server et Access n’étaient pas
aussi robustes que celles d’Excel. En
utilisant l’Excel Text Import Wizard,
nous avons défini manuellement les
largeurs et les formats de champs pour
chaque colonne, créant de nouvelles
colonnes pour les données amalgamées
et divisant les champs de données.
Cette opération a éliminé une
grande partie de la variation des données.
Nous avons ensuite chargé les
données dans Access en utilisant l’option
import external data d’Access.
Pendant l’import, Access a trouvé
d’autres erreurs de formatage de données
; il a stocké les numéros de lignes
des données incompatibles dans un
fichier d’erreurs d’import pour référence.
La figure 2 montre l’un des
problèmes que nous avons rencontrés
: les formats de données dans deux colonnes changeaient de numérique
à  alphabétique, puis revenaient à 
numérique. Pour corriger les erreurs,
nous avons utilisé une combinaison de
techniques d’édition dans Excel et
avons écrit du code SQL pour reformater
les données dans la table Access.
Après quoi, nous avons édité manuellement
certaines des données et utilisé
des requêtes Update pour transformer
d’autres données en leur équivalent
numérique.
Nous n’avons pas pu importer certains
fichiers dans Access en raison
d’erreurs d’incompatibilité de type de
données dans le champ Sample ID. Ce
champ est alphanumérique, mais
Access essayait de le formater comme
un entier. Nous avons essayé d’utiliser
l’Excel Text Import Wizard pour modifier
le format de données ; mais, quand
nous avons importé les données dans
Access, celui-ci n’a pas reconnu le format
caractère Excel. Nous avons alors
essayé de créer la table dans Access et
d’importer des données externes, mais
Access a continué à  supplanter le format
caractère. Pour contourner la difficulté,
nous avons chargé les données
dans SQL Server, en déclarant le
champ comme un type caractère puis
nous les avons réimportées dans
Access pour l’identification des
champs et le nettoyage des données.
Nous avons constaté que les manipulations
de tables étaient plus faciles
dans Access 2000 que dans SQL Server
2000.