1.1 Qu'est-ce que la science des données ?
Objectifs d'apprentissage
À la fin de cette section, vous devriez être en mesure de :
- 1.1.1 Décrire les objectifs de la science des données.
- 1.1.2 Expliquer le cycle de la science des données et les objectifs de chaque étape de ce cycle.
- 1.1.3 Expliquer le rôle de la gestion des données dans le processus de la science des données.
La science des données (data science) est un champ d'études qui examine comment collecter, gérer et analyser des données de tous types afin d'en extraire des informations significatives. Bien que nous décrivions les données plus en détail dans Données et jeux de données, vous pouvez considérer les données comme tout élément probant ou observation susceptible d'être analysé pour fournir des informations utiles.
À ses débuts, le travail de la science des données était réparti entre plusieurs disciplines, notamment les statistiques, les mathématiques, l'informatique et les sciences sociales. On pensait généralement que les tâches de collecte, de gestion et d'analyse des données seraient effectuées par différents types d'experts, chaque tâche étant indépendante des autres. Plus précisément, la collecte de données était considérée comme le domaine des experts métiers (par exemple, les médecins pour les données médicales, les psychologues pour les données psychologiques, les analystes commerciaux pour les données de vente, de logistique et de marketing, etc.), car ils disposaient du contexte complet des données ; la gestion des données incombait aux informaticiens et ingénieurs en informatique, car ils savaient comment stocker et traiter les données dans les systèmes informatiques (par exemple, un ordinateur individuel, un serveur, un entrepôt de données) ; et l'analyse de données revenait aux statisticiens et mathématiciens, car ils savaient comment tirer des enseignements significatifs des données. Les progrès technologiques ont entraîné la prolifération des données, estompant les frontières entre ces fonctions, comme l'illustre la Figure 1.2. Aujourd'hui, on attend d'un scientifique des données ou d'une équipe de science des données qu'il ou elle possède une certaine expertise dans ces trois domaines.
Le développement des téléphones mobiles personnels en est une bonne illustration. Dans le passé, les ménages ne possédaient généralement qu'un seul téléphone fixe, et les seules données générées par ce téléphone étaient la liste des numéros appelés par les membres du foyer. Aujourd'hui, la majorité des consommateurs possèdent un smartphone, qui contient une quantité colossale de données : photos, contacts sur les réseaux sociaux, vidéos, localisations (généralement) et parfois données de santé (avec le consentement des utilisateurs), entre autres choses.
Les données d'un smartphone sont-elles uniquement collectées par des experts métiers spécialisés dans les photos, les vidéos et autres domaines similaires ? Probablement pas. Elles sont automatiquement enregistrées et collectées par le système du smartphone lui-même, conçu par des informaticiens et ingénieurs. Pour un chercheur du secteur de la santé, collecter des données auprès de nombreux individus selon la méthode « traditionnelle », en faisant venir des patients dans un laboratoire pour mesurer régulièrement leurs signes vitaux sur une certaine période, exige beaucoup de temps et d'efforts. Une application pour smartphone constitue une méthode plus efficace et productive du point de vue de la collecte de données.
Les tâches de la science des données sont souvent décrites comme un processus, et cette section fournit un aperçu de chaque étape de ce processus.
Le cycle de la science des données
Les tâches de la science des données suivent un processus appelé le cycle de la science des données (data science cycle), qui comprend la définition du problème, puis la collecte, la préparation, l'analyse et la présentation des données, comme l'illustre la Figure 1.3. Consultez cette animation sur la science des données, qui décrit le cycle de la science des données de manière très similaire.
Bien que la collecte et la préparation des données puissent sembler des tâches simples comparées au travail plus important de l'analyse, ce sont en réalité les étapes les plus exigeantes en temps et en efforts du cycle de la science des données. Selon une enquête menée par Anaconda (2020), les scientifiques des données consacrent environ la moitié de l'ensemble du processus à la collecte et au nettoyage des données, tandis que l'analyse et la communication des données occupent chacune environ un quart à un tiers du temps, selon les postes.
Définition du problème, collecte de données et préparation des données
La première étape du cycle de la science des données est une définition précise de l'énoncé du problème afin d'établir des objectifs clairs quant au but et à la portée du projet d'analyse de données. Une fois le problème bien défini, les données doivent être générées et collectées. La collecte de données (data collection) est le processus systématique de recueil d'informations sur des variables d'intérêt. Les données sont souvent collectées de manière ciblée par des experts métiers pour répondre à des problèmes prédéfinis. Un exemple en est les données issues des réponses des clients à une enquête de satisfaction sur un produit. Ces questions d'enquête sont généralement élaborées par les responsables des ventes et du marketing du produit, qui ont probablement un plan précis quant à l'utilisation qu'ils souhaitent faire des données de réponse une fois celles-ci collectées.
Cependant, toutes les données ne sont pas générées de manière aussi délibérée. Une grande partie des données entourant notre vie quotidienne n'est qu'un sous-produit de nos activités. Ces sous-produits sont conservés sous forme de données, car ils pourraient être utilisés par d'autres pour dégager des informations utiles par la suite. Nos historiques de recherche sur le web en sont un exemple. Nous utilisons un moteur de recherche web comme Google pour trouver des informations sur nos centres d'intérêt, et cette activité laisse sur les serveurs de Google un historique des termes de recherche que nous avons saisis. Les employés de Google peuvent exploiter les enregistrements de nombreux utilisateurs de Google afin d'analyser les schémas de recherche courants, de présenter des résultats de recherche pertinents et, potentiellement, d'afficher des publicités ciblées aux internautes.
Souvent, les données collectées ne se présentent pas sous une forme optimale pour l'analyse. Elles doivent être traitées d'une manière ou d'une autre afin de pouvoir être analysées, lors de la phase appelée préparation des données (data preparation) ou traitement des données. Supposons que vous travailliez pour Google et souhaitiez savoir quels types d'aliments les gens à travers le monde recherchent le plus pendant la nuit. Vous disposez de l'historique de recherche des utilisateurs du monde entier, mais vous ne pouvez probablement pas utiliser les données d'historique de recherche telles quelles. Les mots-clés de recherche seront probablement dans différentes langues, et les utilisateurs vivent partout sur Terre, de sorte que la nuit variera selon le fuseau horaire de chaque utilisateur. De plus, certains mots-clés de recherche contiendront des fautes de frappe, n'auront tout simplement aucun sens, ou seront même vides si le serveur de Google n'a pas réussi à enregistrer cette recherche spécifique. Notez que tous ces scénarios sont possibles, et que la préparation des données doit donc résoudre ces problèmes afin que l'analyse proprement dite puisse produire des résultats plus précis. Il existe de nombreuses façons de gérer ces difficultés, que nous aborderons plus en détail dans Collecte et préparation des données.
Analyse de données
Une fois les données collectées et préparées, elles doivent être analysées afin de dégager des informations significatives, un processus appelé analyse de données (data analysis). Il existe une grande variété de méthodes d'analyse de données, allant de méthodes simples comme la vérification des valeurs minimales et maximales à des méthodes plus avancées telles que la modélisation d'une variable dépendante. La plupart du temps, les scientifiques des données commencent par des méthodes simples avant de passer à des méthodes plus sophistiquées, en fonction de ce qu'ils souhaitent approfondir. Les chapitres Statistiques descriptives : mesures statistiques et distributions de probabilité et Statistiques inférentielles et analyse de régression traitent du moment et de la manière d'utiliser différentes méthodes d'analyse. Séries temporelles et prévisions et Prise de décision à l'aide des bases de l'apprentissage automatique abordent la prévision et la prise de décision.
Présentation des données
La présentation des données (data reporting) implique de présenter les données de la façon la plus adaptée pour transmettre les informations tirées de l'analyse. On ne saurait trop insister sur l'importance de la présentation des données. Sans elle, les scientifiques des données ne peuvent pas communiquer efficacement à leur public les enseignements qu'ils ont tirés des données. Les scientifiques des données travaillent avec des experts métiers de différents domaines, et il leur incombe de communiquer les résultats de leur analyse d'une manière compréhensible pour ces experts. La visualisation de données (data visualization) est un moyen graphique de présenter et de rapporter les données afin de mettre en évidence les structures, les tendances et les enseignements cachés ; elle repose sur l'utilisation d'éléments visuels tels que des diagrammes, des graphiques et des cartes pour présenter les données de manière facile à comprendre et à analyser. L'objectif de la visualisation de données est de communiquer l'information efficacement et de faciliter une meilleure prise de décision. La visualisation de données et la représentation graphique statistique de base, y compris la façon de créer des présentations graphiques de données avec Python, sont étudiées en profondeur dans Visualisation de données. Des détails supplémentaires sur la communication des résultats sont abordés dans Présentation des résultats.
Gestion des données
Aux débuts de l'analyse de données (lorsque les données générées étaient principalement structurées et pas tout à fait aussi « massives »), il était possible de conserver les données sur un stockage local (par exemple, sur un ordinateur individuel ou un disque dur portable). Avec cette configuration, le traitement et l'analyse des données étaient également tous effectués localement.
Lorsque des volumes de données beaucoup plus importants ont commencé à être collectés — dont une grande part non structurée aussi bien que structurée —, des systèmes de gestion dans le nuage ont été développés pour stocker l'ensemble des données sur un serveur dédié, en dehors d'un ordinateur local. Dans le même temps, les scientifiques des données ont commencé à constater que la majeure partie de leur temps était consacrée au traitement des données plutôt qu'à l'analyse proprement dite. Pour répondre à cette préoccupation, les systèmes modernes de gestion des données ne se contentent pas de stocker les données elles-mêmes, mais effectuent également certains traitements de base dans le nuage. Ces systèmes, désignés sous le nom d'entreposage de données (data warehousing), stockent et gèrent de grands volumes de données provenant de diverses sources en un emplacement centralisé, ce qui permet une récupération et une analyse efficaces au service de l'informatique décisionnelle et de la prise de décision. (L'entreposage de données est traité plus en détail dans Gestion des grands jeux de données.)
Aujourd'hui, les entreprises s'abonnent simplement à un service d'entrepôt de données dans le nuage comme Amazon RedShift (qui fonctionne sur Amazon Web Services) ou Google BigQuery (qui fonctionne sur Google Cloud) plutôt que d'acheter du stockage physique et de configurer elles-mêmes des systèmes de gestion et de traitement des données. Ces services garantissent que les données sont stockées et traitées en toute sécurité dans le nuage, sans avoir à dépenser d'argent pour l'achat et la maintenance de supports de stockage physiques.