Normalisation des données

La première étape de la standardisation des données (standardizing data) consiste à définir des règles directrices concernant la structuration et le formatage. Cela implique d'adopter des conventions explicites pour la nomenclature des variables, les types de données et les formats d'encodage. Une forme normale (NF) (normal form (NF)) est une règle conceptuelle appliquée à la modélisation de bases de données relationnelles pour s'assurer que ces dernières sont structurées de façon optimale, faciles à maintenir et exemptes de certaines irrégularités des données (data irregularities), à l'image de la redondance (redundancy) et de l'incohérence (inconsistency). Les formes normales les plus couramment utilisées sont la 1NF, la 2NF, la 3NF (première, deuxième et troisième formes normales) ainsi que la BCNF (forme normale de Boyce-Codd) (BCNF (Boyce-Codd Normal Form)).

La normalisation (normalization) désigne le processus consistant à appliquer ces principes à une base de données. Les données doivent être ordonnées et assainies, ce qui requiert la suppression des doublons, la rectification des enregistrements invalides, le traitement des valeurs manquantes et l'agencement logique des attributs. Pour pérenniser cette standardisation, des mécanismes réguliers de contrôle de la qualité sont instaurés, notamment sous la forme d'audits périodiques vérifiant la validité et la précision des données. Documenter l'ensemble de la démarche, des règles adoptées et des procédures opérationnelles demeure également crucial. Une révision périodique des standards de données s'avère indispensable pour conserver l'actualité et la pertinence du système d'information.

La normalisation assure la pérennité et la cohérence de l'information, quelle que soit son origine. Considérons une équipe marketing étudiant les habitudes d'achat de sa clientèle afin d'optimiser l'agencement de ses produits en magasin. Les données proviennent de multiples sources, telles que les transactions de vente en ligne, les passages en caisse dans les magasins physiques et les sondages de satisfaction client. Sous leur forme brute, ces données sont hétérogènes et disparates, rendant leur analyse complexe. Il est en effet difficile d'extraire des enseignements fiables à partir de données mal structurées.

Pour normaliser ces informations, l'équipe marketing suit un protocole méthodique. Tout d'abord, elle identifie les champs fondamentaux, tels que le nom du client, la référence de l'article acheté et la date d'achat. Ensuite, elle s'assure que ces entités sont harmonisées dans l'ensemble des sources : elle peut ainsi imposer une syntaxe uniforme pour la date ou scinder le nom en deux colonnes distinctes, « prénom » et « nom de famille ». Dans un deuxième temps, elle supprime les redondances et les attributs superflus. Si un même acte d'achat se trouve enregistré simultanément sur le portail web et en boutique, un arbitrage élimine le doublon. Enfin, les données sont organisées dans une table structurée dotée de domaines clairs pour chaque attribut (identifiant client, code produit, montant payé). En normalisant ainsi ses jeux de données, l'équipe marketing peut suivre avec rigueur l'évolution des comportements d'achat, détecter des tendances émergentes et asseoir ses décisions stratégiques sur des données probantes.

En statistique et en apprentissage automatique, la formule de normalisation (ou mise à l'échelle min-max) est fréquemment employée pour recalculer les valeurs d'une variable numérique dans un intervalle borné, le plus souvent compris entre zéro et un. La valeur d'origine la plus élevée est alors convertie en un, tandis que la plus faible devient zéro. Soulignons que la présence de valeurs aberrantes déforme considérablement les minima et maxima observés. Il est donc indispensable d'écarter ou de corriger les valeurs extrêmes avant d'appliquer cette mise à l'échelle, afin d'obtenir une distribution représentative et fiable.

Formule de normalisation :

Transformation de données

La transformation de données (data transformation) regroupe un ensemble d'opérations mathématiques appliquées aux valeurs brutes afin de faciliter leur traitement statistique et algorithmique. Elle fait appel à des transformations logarithmiques, racines carrées ou exponentielles. L'une des motivations premières de la transformation réside dans le respect des hypothèses fondamentales des modèles. Par exemple, de nombreux modèles statistiques postulent une distribution normale des résidus ou des variables. Si la distribution observée s'écarte fortement de la normalité, les déductions qui en résultent risquent d'être biaisées. Dans ces situations, transformer la variable permet de la rapprocher d'une loi normale et de renforcer la validité des analyses.

Parmi les méthodes les plus courantes, la transformation logarithmique (log transformation) consiste à calculer le logarithme des valeurs observées. Elle s'avère particulièrement utile face à des distributions fortement asymétriques où la majorité des points se concentre à une extrémité de l'échelle. En comprimant les écarts entre les grandes valeurs, elle confère à la distribution une forme plus symétrique et mieux adaptée aux modélisations linéaires. Une autre approche fréquente est la transformation racine carrée (square root transformation), qui extrait la racine carrée des données. Semblable à la transformation logarithmique, elle atténue l'asymétrie positive et permet de stabiliser la variance. Elle est aussi particulièrement commode lorsque les observations contiennent des valeurs nulles ou proches de zéro, en modérant l'influence des extrêmes. Les transformations exponentielles (exponential transformations) appliquent quant à elles une fonction exponentielle sur les observations. Quelle que soit la fonction sélectionnée, la transformation constitue un levier précieux permettant aux analystes de remédier aux anomalies distributionnelles et d'accroître la rigueur de leurs conclusions.

Traitement des données bruitées

Les données bruitées (noisy data) correspondent à des observations entachées d'erreurs, de valeurs aberrantes ou d'informations parasites qui masquent les corrélations et les tendances fondamentales du jeu de données. La présence d'un bruit important complique l'extraction de déductions valides et dégrade le pouvoir prédictif des algorithmes. La majorité des bruits proviennent d'imprécisions de saisie, de pannes de capteurs, de perturbations lors de la transmission ou de la variabilité aléatoire inhérente au phénomène observé. On élimine ou atténue le bruit en rectifiant les erreurs décelables, en filtrant les signaux parasites et en isolant les points atypiques. Les données bruitées peuvent compromettre l'apprentissage et suggérer des failles dans la conception du modèle. Le bruit constitue ainsi une information indésirable qu'il convient de réduire autant que possible.

Les stratégies majeures employées pour atténuer le bruit sont résumées dans le Tableau 2.7.

Validation des données

La validation des données (data validation) est le processus consistant à contrôler l'exactitude, la cohérence et la qualité des données par rapport à un ensemble de règles et de critères prédéfinis. Cette approche s'attache à identifier et rectifier les incohérences tout en s'assurant que les données recueillies demeurent pertinentes et fiables pour l'analyse. Elle peut être réalisée par des contrôles manuels, des scripts automatisés ou des tests statistiques formels. Les vérifications courantes portent sur la recherche de doublons, la traque des valeurs absentes et la confrontation des observations avec des répertoires de référence externes. Avant d'entamer la collecte, il importe de spécifier les critères d'acceptabilité requis (précision, exhaustivité, cohérence logique et actualité). Par exemple, une entreprise peut instaurer une procédure de validation garantissant que chaque entrée client respecte scrupuleusement les formats attendus : vérification de l'orthographe des noms, structure normalisée des numéros de téléphone et des adresses postales, conformité des numéros de compte. Les entrées peuvent également être recoupées avec des registres officiels pour vérifier leur véracité. Toute anomalie est ainsi signalée pour correction avant que les données ne soient intégrées aux outils décisionnels. Grâce à ce protocole, l'organisation s'assure de disposer de données clients fiables et conformes aux réglementations.

Un autre volet consiste à croiser les enregistrements avec des sources tierces éprouvées pour déceler d'éventuels écarts. Divers instruments méthodologiques soutiennent cette démarche : modélisation statistique, échantillonnage de contrôle, profilage des distributions et audits périodiques. Il demeure fondamental de repérer et d'isoler les valeurs aberrantes avant d'exécuter ces vérifications. Les tests de vraisemblance font appel au bon sens pour évaluer si les valeurs obtenues sont réalistes (par exemple, s'assurer que l'âge d'un individu s'inscrit dans un intervalle plausible ou que le chiffre d'affaires d'une entreprise correspond aux normes de son secteur). Dans la mesure du possible, l'authenticité de l'information doit être corroborée auprès de l'émetteur d'origine. Faire intervenir plusieurs collaborateurs ou experts dans la chaîne de validation contribue à intercepter les omissions qui échapperaient à une vérification solitaire. La tenue d'une documentation détaillée (étapes suivies, règles appliquées, anomalies détectées) est indispensable pour les audits ultérieurs et la traçabilité. La validation des données est un processus continu nécessitant une surveillance active tout au long du cycle de vie des données.

Prenons l'exemple d'un cabinet d'études réalisant une enquête de satisfaction pour le lancement d'un produit commercial. Après avoir collecté 1 000 réponses, les analystes découvrent de multiples incohérences et des omissions dans le fichier brut, traduisant l'absence de protocoles préalables de standardisation et de contrôle. Afin d'assainir la base, l'analyste supprime d'abord les formulaires dupliqués, ce qui ramène l'effectif à 900 répondants. Des procédures automatisées permettent ensuite d'estimer et de renseigner les valeurs manquantes sur 95 dossiers. Les 805 questionnaires restants sont alors soumis à un contrôle statistique approfondi. Au terme de cette étape de validation et de standardisation, le cabinet dispose d'un jeu de données assaini et fiable de 805 observations. L'analyse finale met en lumière un taux de satisfaction de 85 %, bien supérieur à l'évaluation préliminaire de 78 % calculée sur les données corrompues. Grâce à ces corrections, la direction commerciale a pu communiquer des résultats étayés et définir sa stratégie marketing en toute confiance.