Catalogage des métadonnées

Les métadonnées sont utilisées dans un système de gestion de base de données (SGBD) (database management system (DBMS)), qui est un système qui crée, stocke et gère un ensemble de bases de données. Dans une approche SGBD, les métadonnées sont stockées dans un catalogue appelé dictionnaire de données. Un dictionnaire de données (data dictionary) est un ensemble d'informations décrivant le contenu, le format et la structure d'une base de données (par exemple, dans un SGBD relationnel, le catalogue inclut les noms de toutes les tables disponibles et de leurs champs associés). Le catalogue de métadonnées constitue le cœur du système de base de données et peut faire partie d'un SGBD ou être un composant autonome. Le processus de catalogage des métadonnées consiste à collecter des données sur les processus, les personnes, les produits et toutes les données liées à l'entreprise, ce qui constitue une source d'informations importante pour les utilisateurs finaux, les développeurs d'applications, ainsi que le SGBD lui-même. Le catalogue fournit généralement un modèle de métadonnées extensible, des fonctions d'importation/exportation, un support pour la maintenance et la réutilisation des métadonnées, la surveillance des règles d'intégrité, des fonctions d'accès utilisateur et des statistiques sur les données et leur utilisation pour l'administrateur de base de données et l'optimiseur (optimizer) de requêtes. Le catalogage des métadonnées améliore l'expérience utilisateur, ajoute des avantages concurrentiels et améliore l'efficacité de l'entreprise.

Modélisation des métadonnées

Une présentation métier des métadonnées est la modélisation des métadonnées (metadata modeling). Un processus de conception de base de données peut être utilisé pour concevoir un modèle conceptuel d'une base de données stockant des métadonnées sous la forme d'un modèle entité-relation étendu (EER) (Figure 8.3) ou d'un modèle de langage de modélisation unifié (UML). EER et UML sont utilisés pour créer des modèles de conception de grands systèmes. La modélisation des métadonnées peut couvrir diverses vues de ces modèles. Par exemple, les modèles EER et les diagrammes de classes UML aident à exprimer des vues d'un modèle de données (data model). Alors que l'EER se concentre uniquement sur la modélisation des données, la notation UML peut être utilisée pour exprimer des modèles complets de systèmes d'information à l'aide de diagrammes supplémentaires.

Figure 8.3 Ce diagramme EER modélise une entité produit et indique qu'un produit peut être soit expédié, soit retiré, mais pas les deux. (source : Copyright Rice University, OpenStax, sous licence CC BY 4.0)

Qualité des données

La mesure de la façon dont les données représentent leur objectif ou leur adéquation à l'utilisation est appelée qualité des données (DQ) (data quality (DQ)). Des données de qualité acceptable dans un contexte de décision peuvent être perçues comme de mauvaise qualité dans un autre. La qualité des données détermine la valeur intrinsèque des données pour l'entreprise. Les entreprises peuvent utiliser le concept données erronées, résultats erronés (GIGO) (garbage in, garbage out (GIGO)), ce qui signifie que la qualité de la sortie est déterminée par la qualité de l'entrée. Une mauvaise qualité des données (DQ) a un impact sur les organisations de nombreuses manières et à différents niveaux de gestion. Par exemple, elle a un impact négatif sur les opérations quotidiennes ; cependant, elle fait une grande différence au niveau stratégique dans la prise de décisions. La DQ est un concept multidimensionnel dans lequel chaque dimension représente un aspect unique tel que des vues, des critères ou des mesures. La DQ comprend des perspectives objectives et subjectives et peut catégoriser différentes dimensions de la qualité des données. Le cadre de la DQ comporte quatre catégories : DQ intrinsèque, DQ contextuelle, DQ de représentation et DQ d'accès, comme illustré dans la Figure 8.4.

Figure 8.4 Les quatre catégories du cadre de qualité des données sont la DQ intrinsèque, la DQ contextuelle, la DQ de représentation et la DQ d'accès. (source : Copyright Rice University, OpenStax, sous licence CC BY 4.0)

Dans la catégorie DQ intrinsèque, l'exactitude des données (data accuracy) fait référence à la question de savoir si les valeurs de données stockées pour un objet sont les valeurs correctes, et elles sont souvent corrélées avec d'autres dimensions de la DQ. Nous pouvons considérer la fiabilité des données comme faisant partie de l'exactitude des données. Le degré auquel toutes les données d'un ensemble de données spécifique sont disponibles avec un pourcentage minimum de données manquantes est appelé exhaustivité des données (data completeness). Elle peut être envisagée sous au moins trois perspectives : l'exhaustivité du schéma (le degré auquel les types d'entités et les types d'attributs (attribute) sont manquants du schéma), l'exhaustivité des colonnes (le degré auquel il existe des valeurs manquantes dans une colonne d'une table) et l'exhaustivité de la population (le degré auquel les membres nécessaires d'une population sont présents ou non). La dimension de cohérence des données (data consistency) fait partie de la catégorie de représentation et peut également être envisagée sous plusieurs perspectives : cohérence des données redondantes ou dupliquées dans une ou plusieurs tables, cohérence entre deux éléments de données liés, et cohérence du format pour le même élément de données utilisé dans différentes tables. La dimension d'accessibilité fait partie de la catégorie d'accès et reflète la facilité de récupération des données à partir des sources de données sous-jacentes (cela implique souvent un compromis avec la sécurité, qui fait également partie de la catégorie d'accès).

Il existe de nombreuses causes courantes de mauvaise qualité des données, telles que les suivantes :

• traitement informatique
  • duplication (duplication) : plusieurs sources de données fournissant les mêmes données, ce qui peut produire des doublons
  • problème de cohérence (consistency problem) : différentes occurrences de données ou données incorrectes
  • problème d'objectivité (objectivity problem) : données donnant des résultats différents à chaque processus
  • ressources informatiques limitées (limited computing resources) : ressources informatiques insuffisantes limitant l'accessibilité des données pertinentes
  • problème d'accessibilité (accessibility problem) : de grands volumes de données stockées rendant difficile l'accès aux informations nécessaires dans un délai raisonnable
• intervention humaine
  • information biaisée (biased information) : utilisation du jugement humain dans la production de données
  • problème de pertinence (relevance problem) : différents processus mettant à jour les mêmes données
  • problèmes de qualité des données (data quality problems) : découplage des producteurs et des consommateurs de données

Gouvernance et conformité des données

L'ensemble des rôles, politiques et responsabilités clairs qui permet à une entreprise de gérer et de protéger la qualité des données à l'aide de règles et de politiques définies en interne est appelé gouvernance des données (data governance). Le concept connexe qui garantit que les pratiques en matière de données s'alignent sur les exigences légales externes et les normes de l'industrie est appelé conformité des données (data compliance). Par exemple, le RGPD britannique (Règlement général sur la protection des données) est la réglementation du Royaume-Uni en matière de sécurité des données (data security), calquée sur le RGPD de l'UE qui régit et réglemente la manière dont les organisations et les entreprises britanniques collectent, stockent, utilisent et traitent les données personnelles.

Grâce à la gouvernance des données, les données sont gérées comme un actif plutôt que comme un passif. La gouvernance des données a trois dimensions : la technologie, les personnes et les processus. Elle devrait inclure des rôles standard pour la qualité, la sécurité et la propriété.

Lors de la planification de la gouvernance des données, nous devrions répondre à quatre questions : quoi, comment, pourquoi et qui. Quelles politiques devrions-nous inclure ? Comment intégrons-nous les politiques au processus d'affaires de l'entreprise ? Pourquoi avons-nous besoin de cette politique ? Qui fera partie de cette politique ?

Différents cadres ont été introduits pour la gestion de la qualité des données et l'amélioration de la qualité des données : Total Data Quality Management (TDQM), Total Quality Management (TQM), Capability Maturity Model Integration (CMMI), ISO 9000, Control Objectives for Information and Related Technology (COBIT), Data Management Body of Knowledge (DMBOK), Information Technology Infrastructure Library (ITIL) et Six Sigma. Ces cadres fournissent des lignes directrices aux organisations qui définissent comment un produit ou un processus doit être basé sur des normes de haute qualité. Le principal problème de ces cadres est qu'ils peuvent entraîner des échecs lorsque le système ne prend pas en compte tous les processus dans un flux correct.

Il est possible d'annoter les données avec des métadonnées de qualité des données comme solution à court terme. Malheureusement, de nombreux efforts de gouvernance des données (le cas échéant) sont principalement réactifs et ad hoc.

Architecte de l'information

Un architecte de l'information (information architect), également connu sous le nom d'architecte de données ou d'analyste d'informations, est responsable de la conception du modèle de données conceptuel (plans) pour combler le fossé entre les processus d'affaires et l'environnement informatique.

L'architecte de l'information collabore avec le concepteur de bases de données qui peut aider à choisir le type de modèle de données conceptuel (par exemple, EER ou UML) et l'outil de modélisation de bases de données. La Figure 8.5 montre un exemple de différents systèmes de bases de données que divers personnels travaillant dans la gestion des données peuvent rencontrer.

Figure 8.5 Les systèmes de bases de données existants peuvent être classés comme non relationnels et relationnels. (source : Copyright Rice University, OpenStax, sous licence CC BY 4.0)

Concepteur de bases de données

Un concepteur de bases de données (database designer) est responsable de la création, de l'implémentation et de la maintenance du système de gestion de base de données. D'autres responsabilités incluent la traduction du modèle de données conceptuel en un modèle de données logique et interne, l'assistance aux développeurs d'applications pour la définition des vues du modèle de données externe, et la définition de conventions de nommage uniformes à l'échelle de l'entreprise lors de la création des différents modèles de données.

Propriétaire des données

Le propriétaire des données (data owner) a l'autorité de décider en dernier ressort de l'accès et de l'utilisation des données. Le propriétaire des données peut être le producteur original des données, ou les données peuvent provenir d'un tiers. Une personne qui assume le rôle de propriétaire des données doit être capable d'insérer, de modifier, de supprimer ou de mettre à jour des données, ainsi que de vérifier ou de renseigner la valeur d'un champ. Le propriétaire des données est celui qui est responsable de la vérification de la qualité d'un ou plusieurs ensembles de données.

Intendant des données

Un intendant des données (data steward) est un expert en DQ qui s'assure que les données commerciales réelles de l'entreprise et les métadonnées sont exactes, accessibles, sécurisées et sûres. L'intendant des données effectue des contrôles de qualité des données approfondis et réguliers, initie des mesures correctives ou des enquêtes plus approfondies sur les causes profondes des problèmes de qualité des données, et aide à concevoir des mesures préventives (par exemple, modifications des systèmes d'information opérationnels, règles d'intégrité).

Administrateur de bases de données

L'administrateur de bases de données (DBA) (database administrator (DBA)) est responsable de l'implémentation et de la surveillance de la base de données ainsi que de s'assurer que les bases de données fonctionnent efficacement en collaboration avec les gestionnaires de réseau et de système.

Informaticien

Un informaticien (computer scientist) est une personne qui possède des connaissances théoriques et pratiques en informatique. L'informaticien résoudra des problèmes en utilisant la technologie en appliquant les pratiques de l'informatique. Les informaticiens se concentrent généralement sur la création de solutions de bout en bout pour les entreprises. Par exemple, les informaticiens peuvent créer des applications logicielles qui implémentent des algorithmes complexes et stockent et récupèrent des données connexes dans et depuis des systèmes de bases de données. Les informaticiens peuvent également être impliqués dans la conception et l'optimisation d'algorithmes d'apprentissage automatique complexes.

Scientifique des données

Les scientifiques des données se concentrent généralement sur la création de modèles de classification et de prédiction en entraînant des algorithmes d'apprentissage automatique existants. Les modèles entraînés qui en résultent agissent comme des programmes pour aider à classer de nouvelles données ou à prédire un résultat basé sur des données d'entrée. En général, un scientifique des données (data scientist) est une personne qui possède des connaissances théoriques et pratiques en gestion des données. Le profil d'un scientifique des données combine l'informatique, les mathématiques et les statistiques. Une personne occupant ce rôle est responsable de la collecte d'une grande quantité de données structurées, semi-structurées et de données non structurées (unstructured data) afin de prétraiter et de préparer les données pour une analyse de données avancée en vue de développer un produit ou de prendre une décision commerciale.