Données

Le mot « data » est le pluriel du terme latin « datum », qui signifie quelque chose de donné ou d'utilisé, et désigne fréquemment un élément d'information individuel ou un point de référence unique dans un jeu de données. En entendant le terme « données », vous pensez sans doute à des « nombres ». Il est vrai que les nombres sont généralement considérés comme des données, mais il existe de nombreuses autres formes de données tout autour de nous. Tout ce que nous pouvons analyser pour produire de l'information — des éclairages de haut niveau — est considéré comme des données (data).

Supposons que vous hésitiez à vous inscrire à un cours particulier le semestre prochain. Quel processus suivez-vous pour prendre votre décision ? Vous pourriez d'abord consulter les évaluations du cours, comme le montre le Tableau 1.1.

Ce registre d'évaluation comprend quatre types de données, regroupées dans les colonnes du tableau : Semestre, Enseignant, Taille de la classe et Évaluation. Chaque colonne comporte six valeurs distinctes, situées sur chaque ligne. Par exemple, la colonne Semestre contient six données textuelles : « Automne 2020 », « Printemps 2021 », « Automne 2021 », « Printemps 2022 », « Automne 2022 » et « Printemps 2023 ».

Les mentions d'évaluation en elles-mêmes ne vous indiquent pas directement s'il faut ou non suivre ce cours au semestre prochain. Ces évaluations ne sont qu'une formulation (par ex., « Fortement recommandé » ou « Pas vraiment recommandé ») qui encode le degré de recommandation du cours pour le semestre concerné. Vous devez les analyser pour parvenir à une décision !

Réfléchissons maintenant à la façon d'extraire des informations de ces évaluations. Vous examinerez sans doute l'ensemble des données, notamment la période du semestre où le cours a été dispensé, l'identité de l'enseignant et l'effectif de la classe. Ces enregistrements vous permettront de tirer des informations qui vous aideront à déterminer « s'il convient ou non de vous inscrire à ce cours le semestre prochain ».

Types de données

Les sections précédentes ont montré à quel point notre vie quotidienne est entourée de données, produit elle-même constamment de nouvelles données et nous amène souvent à prendre des décisions fondées sur les données sans même que nous nous en rendions compte. Vous avez peut-être remarqué que les données se présentent sous des formes très variées. Certaines données sont quantitatives, ce qui signifie qu'elles sont mesurées et exprimées à l'aide de nombres. Les données quantitatives (quantitative data) traitent de quantités et de grandeurs, et sont généralement analysées à l'aide de méthodes statistiques. Les mesures numériques telles que la taille, le poids, la température, la fréquence cardiaque et les chiffres de vente en sont des exemples. Les données qualitatives (qualitative data) sont des données non numériques qui décrivent généralement des attributs ou des caractéristiques subjectifs et qui sont analysées au moyen de méthodes telles que l'analyse thématique ou l'analyse de contenu. Parmi les exemples, on compte les descriptions, les observations, les entretiens et les réponses à des questions ouvertes dans des enquêtes (comme nous le verrons dans Conception et réalisation d'enquêtes) portant sur des éléments non quantifiables (par ex., des photos, des publications sur Reddit). Les types de données dictent souvent les méthodes d'analyse à appliquer ; il est donc indispensable de savoir identifier le type d'une donnée. Cette section approfondit donc les différents types de données.

Revenons à notre exemple précédent concernant le choix de suivre ou non un cours au prochain semestre. Dans cet exemple, nous avons fait référence à quatre éléments de données. Ils sont encodés sous différents formats tels que des nombres, des mots et des symboles.

1. Le semestre durant lequel le cours a été proposé — Automne 2020, Printemps 2021, …, Automne 2022, Printemps 2023
2. L'enseignant — A et B
3. La taille de la classe — 100, 50, 120, 40, 110, 50
4. L'évaluation du cours — « Pas du tout recommandé », …, « Fortement recommandé »

Il existe deux grandes catégories de données quantitatives — numériques et catégorielles — et chacune peut se subdiviser en sous-types. Les données numériques (numeric data) sont représentées par des nombres qui indiquent des quantités mesurables. Elles peuvent être accompagnées de symboles indiquant des unités. Les données numériques se divisent elles-mêmes en données continues et données discrètes. Avec les données continues (continuous data), les valeurs peuvent être n'importe quel nombre. Autrement dit, une valeur est choisie au sein d'un ensemble infini de nombres. Avec les données discrètes (discrete data), les valeurs suivent une précision déterminée, ce qui rend fini l'ensemble des valeurs possibles.

Dans l'exemple précédent, les effectifs de 100, 150, etc. sont des nombres dont l'unité implicite est le « nombre d'étudiants ». Ils indiquent également des grandeurs mesurables puisqu'il s'agit de comptages d'individus. Par conséquent, la taille de la classe correspond à des données numériques. Il s'agit également de données continues dans la mesure où les effectifs semblent pouvoir être n'importe quel nombre naturel pris dans un ensemble infini de nombres, l'ensemble des entiers naturels. Notons que le caractère continu (ou discret) d'une donnée dépend également du contexte. Par exemple, ces mêmes données d'effectif peuvent devenir discrètes si l'établissement impose que toutes les classes comptent 200 places au maximum. Une telle contrainte restreint alors le choix des valeurs d'effectif à un ensemble fini de 200 nombres : 1, 2, 3, …, 198, 199, 200.

Les données catégorielles (categorical data) sont représentées sous différentes formes telles que des mots, des symboles et même des nombres. Une valeur catégorielle est choisie dans un ensemble fini de valeurs, et la valeur n'indique pas nécessairement une grandeur mesurable. Les données catégorielles peuvent être réparties en données nominales et données ordinales. Pour les données nominales (nominal data), l'ensemble des valeurs possibles ne comporte aucune notion d'ordre, tandis que pour les données ordinales (ordinal data), l'ensemble des valeurs possibles intègre une notion d'ordonnancement.

Les autres éléments — semestre, enseignant et évaluations — sont des données catégorielles. Ils sont représentés par des symboles (par ex., « Automne 2020 », « A ») ou des mots (par ex., « Fortement recommandé »), et ces valeurs sont choisies dans l'ensemble fini de ces symboles et mots (par ex., A par rapport à B). Les deux premières données sont nominales car le semestre et l'enseignant ne répondent pas à un ordre intrinsèque, tandis que la dernière est ordinale car il existe une notion de degré (Pas du tout recommandé ~ Fortement recommandé). Vous pourriez objecter que les semestres présentent un ordre chronologique : Automne 2020 précède Printemps 2021, et Automne 2021 succède à Automne 2020. Si vous souhaitez valoriser cette notion dans votre analyse, vous pouvez également considérer la donnée du semestre comme ordinale — l'ordre chronologique est d'ailleurs essentiel lors de l'étude d'un jeu de séries temporelles. Vous en apprendrez davantage à ce sujet dans Séries temporelles et prévisions.

Jeux de données

Un jeu de données (dataset) est un ensemble d'observations ou d'entités de données organisé à des fins d'analyse et d'interprétation, comme le montre le Tableau 1.1. De nombreux jeux de données peuvent être représentés sous forme de tableau, où chaque ligne correspond à une entité de données unique et chaque colonne définit la structure de ces entités.

Notez que le jeu de données utilisé dans le Tableau 1.1 compte six entités (également appelées éléments (items), entrées ou instances), distinguées par le semestre. Chaque entité est définie par la combinaison de quatre attributs (attributes) ou caractéristiques (également appelés features ou variables) — Semestre, Enseignant, Taille de la classe et Évaluation. La combinaison de ces variables caractérise une entrée d'un jeu de données.

Bien que les valeurs effectives des attributs diffèrent d'une entité à l'autre, remarquons que toutes les entités possèdent des valeurs pour ces mêmes quatre attributs, ce qui en fait un jeu de données structuré (structured dataset). En tant que jeu de données structuré, ces éléments peuvent être présentés dans un tableau où chaque élément correspond à une ligne.

En revanche, un jeu de données non structuré (unstructured dataset) est un ensemble qui ne dispose pas d'un modèle de données prédéfini ou organisé. Alors que les jeux de données structurés sont organisés sous un format tabulaire avec des champs et des relations clairement définis, les données non structurées sont dépourvues de schéma fixe. Les données non structurées se présentent souvent sous la forme de textes, d'images, de vidéos, d'enregistrements audio ou d'autres contenus dont les informations ne s'insèrent pas aisément dans des lignes et des colonnes.

Les jeux de données non structurés abondent. Certains soutiennent même qu'ils sont plus nombreux que les jeux de données structurés. On peut citer par exemple les avis Amazon sur une gamme de produits, les publications Twitter de l'année écoulée, les images publiques sur Instagram, les courtes vidéos populaires sur TikTok, etc. Ces jeux de données non structurés sont fréquemment transformés en jeux structurés afin que les scientifiques des données puissent les analyser. Nous aborderons différentes techniques de traitement de données dans Collecte et préparation des données.

Formats et structures de jeux de données (CSV, JSON, XML)

Les jeux de données peuvent être stockés sous différents formats, et il est important d'être en mesure de reconnaître les plus couramment employés. Cette section aborde trois des formats les plus utilisés pour les jeux de données structurés — les valeurs séparées par des virgules (CSV) (comma-separated values (CSV)), JavaScript Object Notation (JSON) et le langage de balisage extensible (XML) (Extensible Markup Language (XML)). Si le format CSV constitue la manière la plus intuitive d'encoder un jeu de données tabulaire, une grande partie des données collectées sur le web (par ex., sites web, applications mobiles) est stockée au format JSON ou XML. En effet, JSON se prête parfaitement à l'échange de données entre un utilisateur et un serveur, tandis qu'XML convient particulièrement aux jeux de données complexes en raison de son organisation hiérarchique naturelle. Étant donné que ces formats enregistrent les données sous forme de texte brut, vous pouvez les ouvrir à l'aide de n'importe quel éditeur de texte classique comme Bloc-notes, Visual Studio Code, Sublime Text ou l'éditeur VI.

Le Tableau 1.3 résume les avantages et les inconvénients des formats de jeux de données CSV, JSON et XML. Chacun d'entre eux est décrit plus en détail ci-dessous.

Valeurs séparées par des virgules (CSV)

Le format CSV stocke chaque élément du jeu de données sur une seule ligne. Les valeurs des variables de chaque élément sont listées sur cette ligne, séparées par des virgules (« , »). L'exemple précédent concernant l'inscription à un cours peut être enregistré sous la forme d'un fichier CSV. La Figure 1.4 montre à quoi ressemble ce jeu de données lorsqu'il est ouvert avec un éditeur de texte (par ex., Bloc-notes, TextEdit, MS Word, Google Docs) ou avec un outil de programmation sous la forme d'un éditeur de code (par ex., Sublime Text, Visual Studio Code, Xcode). Remarquez que des virgules séparent les valeurs des attributs sur une même ligne (voir la Figure 1.4).

Figure 1.4 ch1-courseEvaluations.csv ouvert avec Visual Studio Code

Une virgule pour un saut de ligne ?

La fin d'une ligne offre une certaine souplesse dans les fichiers CSV. Il est possible de terminer la ligne avec ou sans virgule, car certains logiciels ou langages de programmation ajoutent automatiquement une virgule lors de la création d'un jeu de données CSV.

Les fichiers CSV peuvent être ouverts à l'aide de tableurs tels que MS Excel et Google Sheets. Ces logiciels permettent de visualiser les fichiers CSV de façon plus intuitive sous forme de tableau (voir la Figure 1.5). Nous aborderons l'utilisation de base de Python pour l'analyse des fichiers CSV dans La science des données avec Python.

Figure 1.5 ch1-courseEvaluations.csv ouvert avec Microsoft Excel (Utilisé avec l'autorisation de Microsoft)

Comment télécharger et ouvrir un jeu de données à partir du tableur Ch1-Data de cet ouvrage

Un fichier tableur accompagne chaque chapitre de cet ouvrage. Ces fichiers comportent plusieurs onglets correspondant chacun à un jeu de données abordé dans le chapitre. Par exemple, le fichier tableur pour ce chapitre est illustré à la Figure 1.6. Vous remarquerez qu'il comprend plusieurs onglets intitulés « ch1-courseEvaluations.csv », « ch1-cancerdoc.csv » et « ch1-riris.csv », qui sont les noms respectifs de chaque jeu de données.

Figure 1.6 Le fichier tableur du jeu de données pour le chapitre 1 (Utilisé avec l'autorisation de Microsoft)

Pour enregistrer chaque jeu de données dans un fichier CSV distinct, sélectionnez l'onglet souhaité, puis cliquez sur Fichier > Enregistrer sous… > Format de fichier CSV. Cette opération enregistrera uniquement l'onglet actif au format CSV. Veillez à ce que le nom du fichier soit correctement défini ; il est possible qu'il reprenne le nom du fichier tableur global — « ch1-data.xlsx » dans ce cas. Vous devez nommer le fichier CSV généré d'après le nom de l'onglet correspondant. Par exemple, si vous avez extrait un fichier CSV à partir du premier onglet de « ch1-data.xlsx », assurez-vous que le fichier produit porte bien le nom « ch1-courseEvaluations.csv ». Cela évitera toute confusion lors du suivi des instructions fournies dans cet ouvrage.

JavaScript Object Notation (JSON)

JSON utilise la syntaxe d'un langage de programmation appelé JavaScript. Plus précisément, il s'appuie sur la syntaxe des objets JavaScript. Rassurez-vous cependant : il n'est nullement nécessaire de maîtriser JavaScript pour comprendre le format JSON.

La Figure 1.7 présente un exemple de représentation JSON du même jeu de données que celui décrit à la Figure 1.6.

Figure 1.7 CourseEvaluations.json ouvert avec Visual Studio Code

Notez que la structure JSON commence et se termine par une paire d'accolades ({}). À l'intérieur figurent plusieurs couples de deux champs séparés par un deux-points (:). Ces deux champs placés à gauche et à droite du deux-points sont appelés respectivement une clé et une valeur — key : value. Par exemple, le jeu de données de la Figure 1.7 contient cinq paires clé-valeur avec la clé "Semester": "Fall 2020", "Semester": "Spring 2021", "Semester": "Fall 2021", "Semester": "Spring 2022", "Semester": "Fall 2022" et "Semester": "Spring 2023".

CourseEvaluations.json comporte une paire clé-valeur au niveau racine : "Members": [...]. Vous pouvez constater que chaque élément du jeu de données est répertorié sous forme de tableau ou de liste sous la clé "Members". Au sein du tableau, chaque élément est lui-même délimité par des accolades et contient une liste de paires clé-valeur séparées par des virgules. Les clés permettent de nommer les attributs du jeu de données, tandis que les valeurs définissent les données associées. Par exemple, le premier élément du jeu de données JSON ci-dessus possède quatre clés, chacune correspondant à un attribut — Semester, Instructor, Class Size et Rating. Leurs valeurs respectives sont "Fall 2020", "A", 100 et "Not recommended at all".

Langage de balisage extensible (XML)

Le format XML est comparable à JSON, mais il structure chaque élément du jeu de données à l'aide de symboles appelés balises. Une balise XML (XML tag) est un bloc de texte composé d'une paire de chevrons (< >) renfermant du texte. Examinons l'exemple de représentation XML du même jeu de données à la Figure 1.8. Notez que la capture d'écran de CourseEvaluations.xml ci-dessous ne présente que les trois premiers éléments du jeu de données d'origine.

Figure 1.8 ch1-courseEvaluations.xml avec les trois premières entrées seulement, ouvert avec Visual Studio Code

CourseEvaluations.xml délimite chaque élément du jeu de données entre deux balises, <members> et </members>. Sous <members>, chaque élément est encadré par <evaluation> et </evaluation>. Comme le jeu de données de la Figure 1.8 contient trois éléments, on observe trois blocs <evaluation> … </evaluation>. Chaque élément possède quatre attributs, également définis par des balises XML distinctes — <semester>, <instructor>, <classsize> et <rating>. Celles-ci sont ensuite fermées par leurs balises correspondantes telles que </semester>, </instructor>, </classsize> et </rating>.

La plateforme PubMed datasets met à disposition une liste d'articles publiés dans la National Library of Medicine au format XML. Cliquez sur Annual Baseline, puis téléchargez et ouvrez n'importe quel fichier .xml. Vous constaterez que tous ces fichiers .xml sont si volumineux qu'ils sont compressés au format .gz. Cependant, une fois le fichier téléchargé, un double-clic permet de le décompresser et de l'ouvrir automatiquement. Vous y découvrirez un ensemble de balises XML accompagnées d'informations sur de nombreuses publications, comme la revue de parution, le titre, la date de publication, etc.

XML et données d'images

Le format XML est également très répandu pour accompagner des données d'images. Il sert alors à consigner des informations complémentaires sur l'image. Par exemple, le Small Traffic Light Dataset de la Figure 1.9 est fourni avec un ensemble d'images de feux de circulation réparties dans l'un des trois répertoires : JPEGImages, train_images et valid_images. Chaque répertoire d'images est associé à un autre répertoire dédié aux annotations, à savoir Annotations, train_annotations et valid_annotations.

Figure 1.9 La structure de répertoires du Small Traffic Light Dataset

Les répertoires d'annotations regroupent une liste de fichiers XML, dont chacun correspond à un fichier image portant le même nom dans le répertoire d'images associé (Figure 1.10). La Figure 1.11 montre que le premier fichier XML du répertoire Annotations contient des informations relatives au fichier .jpg portant le même nom.

Figure 1.10 Liste des fichiers XML du répertoire Annotations dans le Small Traffic Light Dataset
(source : « Small Traffic Light Dataset », https://www.kaggle.com/datasets/sovitrath/small-traffic-light-dataset-xml-format)

Figure 1.11 2020-03-30 11_30_03.690871079.xml, un exemple de fichier XML au sein du Small Traffic Light Dataset (Source : « Small Traffic Light Dataset », https://www.kaggle.com/datasets/sovitrath/small-traffic-light-dataset-xml-format)

Descriptions de jeux de données en JSON et XML

Les fichiers JSON comme XML contiennent souvent une description du jeu de données lui-même (appelée métadonnées), qui apparaît sous la forme d'une entrée distincte dans le fichier ({} ou <>). Sur la Figure 1.12 et la Figure 1.13, les données proprement dites sont répertoriées respectivement dans « itemData » et <data>. Les autres champs fournissent des informations contextuelles sur le jeu de données. Par exemple :

• « creationDateTime » : précise la date de création du jeu de données.
• <name> sert à indiquer le nom de ce jeu de données.
• <metadata> est utilisé pour décrire le nom de chaque colonne du jeu de données ainsi que son type de données.

Figure 1.12 Un exemple de fichier JSON avec métadonnées

Figure 1.13 Un exemple de jeu de données XML avec métadonnées

Le jeu de données Face Mask Detection comprend un ensemble d'images de visages humains portant des masques. Il s'organise selon un principe similaire. Ce jeu de données se compose de deux répertoires — annotations et images. Le premier est au format XML. Le nom de chaque fichier XML renvoie à la description textuelle de l'image de même nom. Par exemple, « maksssksksss0.xml » renferme des informations sur « maksssksksss0.png ».

Exemple 1.7

Problème

Le jeu de données Iris Flower (ch1-iris.csv) est un grand classique dans le domaine de l'analyse de données.1 Téléchargez ce jeu de données et ouvrez-le avec un éditeur de code (par ex., Sublime Text, Xcode, Visual Studio Code). (Si aucun éditeur de code n'est installé sur votre machine, nous vous recommandons d'en installer un. Ces trois éditeurs sont tous rapides et simples à installer.) Répondez ensuite aux questions suivantes :

• Combien d'éléments le jeu de données compte-t-il ?
• Combien d'attributs le jeu de données comporte-t-il ?
• Quel est le deuxième attribut du jeu de données ?

Solution

Le jeu de données compte 151 lignes, ligne d'en-tête comprise, soit un total de 150 éléments. Cinq attributs sont répartis sur les colonnes : sepal_length, sepal_width, petal_length, petal_width, species. Le deuxième attribut est sepal_width.

Exemple 1.8

Problème

Le jeu de données Jeopardy (ch1-jeopardy.json) est au format JSON. Téléchargez-le et ouvrez-le avec un éditeur de code (par ex., Bloc-notes, Sublime Text, Xcode, Visual Studio Code).

• Combien d'éléments le jeu de données compte-t-il ?
• Combien d'attributs le jeu de données comporte-t-il ?
• Quel est le troisième élément du jeu de données ?

Solution

Le jeu de données comporte 409 éléments, et chaque élément possède sept attributs : « category », « air_date », « question », « value », « answer », « round » et « show_number ». Le troisième élément est situé à l'indice 2 de la première liste, comme l'illustre la Figure 1.14.

Figure 1.14 Le troisième élément du jeu de données Jeopardy