Préface
Principes de la science des données a été rédigé à l'origine par Shaun V. Ault, Soohyun Nam Liao et Larry Musolino, et publié par OpenStax, Rice University. Il est sous licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Partage dans les Mêmes Conditions 4.0 International (CC BY-NC-SA 4.0). L'œuvre originale est disponible sur OpenStax. Cette édition française a été traduite et adaptée par l'Initiative Universelle de Manuels Ouverts.
À propos de Principes de la science des données
Résumé
Principes de la science des données est conçu comme un document d'introduction pour un cours d'un ou deux semestres sur la science des données. Il convient aux étudiants de premier cycle intéressés par le domaine en pleine expansion de la science des données ; cela peut inclure les étudiants ayant choisi la science des données comme discipline principale ou secondaire, ou les étudiants se spécialisant en commerce, finance, soins de santé, ingénierie, sciences ou dans un certain nombre d'autres domaines où la science des données est devenue d'une importance capitale. Le contenu est conçu pour préparer les étudiants à de futurs cours et à des applications professionnelles dans un domaine lié à la science des données. Il ne suppose pas d'expérience préalable significative en codage, ni d'avoir suivi plus que l'algèbre élémentaire de niveau universitaire. Le texte fournit un enseignement fondamental en statistiques pour les étudiants qui pourraient avoir une formation limitée en statistiques.
Couverture et portée
Principes de la science des données met l'accent sur l'utilisation du code Python dans les applications pertinentes de la science des données. Python fournit un langage de programmation polyvalent avec des bibliothèques et des cadriciels pour la manipulation de données, l'analyse et l'apprentissage automatique. Le livre commence par une introduction à Python et présente des bibliothèques, des algorithmes et des fonctions Python au fur et à mesure des besoins. À de rares occasions ciblées, les auteurs utilisent également Excel pour illustrer la manipulation de base de données à l'aide de fonctions, de formules et d'outils de calcul, de visualisation et d'analyse financière. R, un langage de programmation utilisé le plus souvent pour la modélisation statistique, est brièvement décrit, puis résumé et appliqué à des exemples pertinents dans une annexe du livre. Des résumés d'Excel et de Python sont également fournis dans les annexes à la fin du livre.
La table des matières (TOC) est divisée en dix chapitres, organisés en quatre unités, suivant intuitivement le cycle standard de la science des données. Les quatre unités sont :
Unité 1 : Introduction à la science des données et à la collecte de données
Unité 2 : Analyser les données à l'aide des statistiques
Unité 3 : Prédire et modéliser à l'aide des données
Unité 4 : Maintenir une pratique professionnelle et éthique de la science des données
Les objectifs d'apprentissage et le programme des cours d'introduction à la science des données varient, c'est pourquoi ce manuel vise à fournir une couverture plus large et plus détaillée qu'un cours moyen d'un seul semestre. Les enseignants peuvent choisir les chapitres ou les sections qu'ils souhaitent inclure dans leur cours particulier.
Pour permettre cette flexibilité, les chapitres de ce texte peuvent être utilisés de manière autonome, bien que la plupart des chapitres fassent des renvois aux sections et chapitres qui les précèdent ou les suivent. Plus important encore, les auteurs ont pris soin de développer les sujets progressivement, de chapitre en chapitre, de sorte que les enseignants doivent garder cela à l'esprit lorsqu'ils envisagent un ordre de progression différent.
Unité 1 : Introduction à la science des données et à la collecte de données commence par l'explication au Chapitre 1 du cycle de la science des données (collecte et préparation des données, analyse de données et communication des données) et de ses applications pratiques dans des domaines tels que la médecine, l'ingénierie et le commerce. Le Chapitre 1 décrit également divers types de jeux de données et fournit à l'étudiant des outils de base de résumé de données issus de la bibliothèque Python pandas. Le Chapitre 2 décrit les processus de collecte et de nettoyage des données ainsi que les défis liés à la gestion de grands jeux de données. Il donne un aperçu de certaines des considérations éthiques qualitatives que les chapitres 7 et 8 développeront plus tard.
Unité 2 : Analyser les données à l'aide des statistiques forme une unité autonome que les enseignants peuvent attribuer sur une base modulaire et plus facultative, selon les cours préalables suivis par les étudiants. Le Chapitre 3 se concentre sur les mesures de tendance centrale, de variation et de position, menant à la théorie des probabilités et illustrant comment utiliser Python avec les distributions binomiales et normales. Le Chapitre 4 approfondit l'analyse statistique, en démontrant comment utiliser Python pour calculer des intervalles de confiance, effectuer des tests d'hypothèses et réaliser des analyses de corrélation et de régression.
Les trois chapitres de l'Unité 3 : Prédire et modéliser à l'aide des données forment le cœur du livre. Le Chapitre 5 présente aux étudiants le concept et les applications pratiques des séries temporelles. Le Chapitre 5 fournit des exemples ciblés de techniques Python et Excel utiles pour prévoir les séries temporelles, analyser la saisonnalité et identifier les mesures d'erreur. Le Chapitre 6 commence par distinguer l'apprentissage automatique supervisé et non supervisé, puis développe certaines méthodes courantes de classification des données, notamment la régression logistique, les algorithmes de regroupement en grappes et les arbres de décision. Le Chapitre 6 comprend des techniques Python pour des analyses statistiques plus sophistiquées telles que la régression avec bootstrap et la régression multivariable. Enfin, le Chapitre 6 revient sur les thèmes de l'exploration de données et des mégadonnées introduits au Chapitre 2.
Le Chapitre 7 est un chapitre pédagogiquement riche, avec un équilibre entre contenu quantitatif et qualitatif, couvrant le rôle des réseaux de neurones dans l'apprentissage profond et les applications dans les grands modèles de langage. Les quatre premières sections traitent des réseaux de neurones (standards, récurrents et convolutifs), de la rétropropagation et de l'apprentissage profond. L'application concrète de la classification des chiffres manuscrits est utilisée comme exemple. La dernière section plonge dans la technologie importante et en évolution rapide du traitement du langage naturel (NLP), des grands modèles de langage (LLM) et de l'intelligence artificielle (IA). Bien qu'une couverture approfondie de ces sujets en évolution dépasse la portée de ce manuel, les avantages et inconvénients, les exemples issus d'applications techniques et artistiques et les ressources en ligne fournies dans cette section constituent tous un bon point de départ pour une discussion en classe. Ce sujet s'enchaîne également naturellement avec la responsabilité professionnelle plus large abordée au Chapitre 8.
Les derniers chapitres de l'Unité 4 : Maintenir une pratique professionnelle et éthique de la science des données aident l'étudiant à appliquer et à adapter les techniques spécifiques apprises dans les chapitres précédents aux situations réelles d'analyse de données, de prise de décision et de communication qu'il rencontrera sur le plan professionnel. Le Chapitre 8 souligne l'importance des considérations éthiques à chaque étape du cycle : collecte de données ; préparation, analyse et modélisation des données ; et communication et visualisation. Le traitement des questions abordées dans ce chapitre sensibilise les étudiants aux aspects subjectifs et sensibles de la confidentialité et du consentement éclairé à chaque étape du processus. Au niveau professionnel, les étudiants en apprennent davantage sur les normes en constante évolution dans le domaine relativement nouveau de la science des données, qui peuvent varier selon les secteurs d'activité ou entre les États-Unis et d'autres pays.
Le Chapitre 9 revient sur certains des concepts statistiques introduits aux chapitres 3 et 4, en mettant l'accent sur une analyse visuelle claire des tendances des données. Le Chapitre 9 propose une gamme de techniques Python pour créer des boîtes à moustaches et des histogrammes pour des données univariées ; créer des graphiques linéaires et des courbes de tendance pour les séries temporelles ; représenter graphiquement des lois binomiales, de Poisson et normales ; générer des cartes thermiques à partir de données géospatiales ; et créer des cartes thermiques de corrélation à partir de données multidimensionnelles.
Le Chapitre 10 ramène l'étudiant au cadre décisionnel pratique introduit au Chapitre 1. Le Chapitre 10 aide l'étudiant à aborder la façon d'adapter l'analyse de données et la présentation au public et à l'objectif visé, comment valider les hypothèses d'un modèle et comment rédiger une résumé exécutif efficace.
Les quatre Annexes (A–D) fournissent un ensemble pratique de références pour les commandes Excel et les commandes du logiciel statistique R ainsi que pour les commandes et algorithmes Python. L'Annexe A utilise un jeu de données de baseball du Chapitre 1 pour illustrer les commandes de base du logiciel Microsoft® Excel® permettant de manipuler, d'analyser, de résumer et de représenter graphiquement des données. L'Annexe B fournit un bref aperçu de l'analyse de données avec le logiciel d'informatique statistique R à code source ouvert, à l'aide d'un exemple de cours des actions. L'Annexe C répertorie les quelque 60 algorithmes Python utilisés dans le manuel, et l'Annexe D répertorie le code et la syntaxe des quelque 75 fonctions Python démontrées dans le manuel. Les Annexes C et D sont toutes deux organisées sous forme de tableau, dans l'ordre consécutif des chapitres, avec des hyperliens vers la première utilisation significative de chaque algorithme et fonction Python. (Les enseignants peuvent trouver les annexes C et D particulièrement utiles pour élaborer leur plan de cours.)
Fondements pédagogiques
Comme il s'agit d'un manuel pratique de niveau d'introduction, les équations mathématiques et le code sont présentés clairement tout au long de l'ouvrage. Particulièrement dans les chapitres au cœur du manuel, les étudiants sont initiés aux concepts mathématiques, équations et formules clés, souvent suivis d'exemples de problèmes numérotés qui encouragent les étudiants à appliquer les concepts venant d'être abordés dans une variété de situations. Des illustrations techniques et des encadrés de code Python s'appuient sur la théorie et la complètent. Les étudiants sont encouragés à tester le code Python des encadrés sur la plateforme Google Colaboratory (Colab).
Les auteurs ont inclus un ensemble diversifié de types de données et de sources à des fins d'analyse, d'illustration et de discussion. Certains scénarios sont fictifs et/ou internes aux bibliothèques Python standard, tandis que d'autres jeux de données proviennent de sources externes et réelles, tant d'entreprises que gouvernementales (telles que Federal Reserve Economic Data (FRED), Statista et Nasdaq). La plupart des scénarios sont soit résumés dans un tableau intégré, soit disposent de jeux de données fournis dans un tableur étudiant téléchargeable pour être importés sous la forme d'un fichier .CSV (le Chapitre 1 traite également du format .JSON) et/ou avec un hyperlien vers la source externe. Certains exemples se concentrent sur des sujets scientifiques (par exemple, le jeu de données « classique » des fleurs d'iris, les variations annuelles de température), tandis que d'autres jeux de données reflètent des phénomènes comportant des questions socioéconomiques plus nuancées (écarts de salaire entre les genres, marqueurs de maladies cardiaques chez les patients).
Alors que les chapitres fondamentaux du livre illustrent des « techniques et outils » pratiques, les chapitres davantage axés sur les processus s'appuient de manière itérative sur un cadre sous-jacent de pratique professionnelle, responsable et éthique de la science des données, tout en le mettant en valeur. Le Chapitre 1 renvoie l'étudiant à plusieurs organisations nationales et internationales de science des données qui développent des normes professionnelles. Le Chapitre 2 met l'accent sur l'élimination des biais dans la conception des enquêtes et des échantillons. Le Chapitre 8 aborde la législation pertinente en matière de confidentialité. Pour aller plus loin dans l'exploration en classe, les chapitres 7 et 8 incluent des ressources en ligne sur l'atténuation des biais et de la discrimination dans les modèles d'apprentissage automatique, y compris des bibliothèques Python associées telles que HolisticAI et Fairlens. Le Chapitre 10 fait référence à plusieurs tableaux de bord exécutifs favorisant la transparence au sein du gouvernement.
Les projets de groupe à la fin de chaque chapitre encouragent les étudiants à appliquer les techniques et les considérations abordées dans le livre en utilisant soit des jeux de données déjà fournis, soit de nouvelles sources de données qu'ils pourraient recevoir de leurs enseignants ou trouver dans leurs propres recherches. Par exemple, les sujets de projet comprennent les suivants : la collecte de données sur l'extinction des animaux due au réchauffement climatique (Chapitre 2), la prévision des tendances futures des cours boursiers (Chapitre 5), le diagnostic des maladies hépatiques chez les patients (Chapitre 7) et l'analyse de la gravité des attaques par rançongiciel (Chapitre 8).
Caractéristiques principales
Les fonctionnalités clés intégrées aux chapitres, selon le contenu et les thèmes du chapitre, peuvent inclure les éléments suivants :
- Des résultats d'apprentissage (LO) pour guider la progression de l'étudiant tout au long du chapitre
- Des exemples de problèmes, démontrant les calculs et les solutions dans le cours du texte
- Des encadrés de code Python, fournissant des exemples de code d'entrée et de sortie pour Google Colab
- Des encadrés de notes fournissant des conseils pédagogiques pour aider aux aspects pratiques des mathématiques et du codage
- Des tableaux de données provenant d'une variété de contextes des sciences sociales et de l'industrie
- Des graphiques techniques et des cartes thermiques pour démontrer visuellement la sortie du code et les relations entre les variables
- Des encadrés Pour aller plus loin, proposant des ressources supplémentaires et des exemples en ligne pour approfondir l'apprentissage
- Des formules et équations mathématiques
- Des liens vers un tableur téléchargeable contenant les principaux jeux de données référencés dans le chapitre pour une manipulation facile des données
Les éléments de fin de chapitre (EOC), selon le contenu et les thèmes du chapitre, peuvent inclure les éléments suivants :
- Termes clés
- Projets de groupe
- Questions de révision du chapitre
- Questions de réflexion critique
- Problèmes quantitatifs
Réponses [et solutions] aux questions du livre
Le Corrigé destiné aux étudiants à la fin du livre fournit la lettre et le texte de la réponse correcte pour les questions de révision du chapitre (choix multiples). Un manuel de solutions pour l'enseignant (ISM) sera mis à la disposition des enseignants vérifiés et téléchargeable depuis la page web restreinte OpenStax Instructor Resources, avec des solutions détaillées aux problèmes quantitatifs, des exemples de réponses pour les questions de réflexion critique et une brève explication de la réponse correcte pour les questions de révision du chapitre. (Des exemples de calculs, de tableaux, de code ou de figures peuvent être inclus, le cas échéant.) Un extrait de l'ISM, comprenant uniquement les solutions et exemples de réponses pour les questions impaires, sera également disponible sous forme de manuel de solutions pour les étudiants (SSM), téléchargeable depuis la page web publique OpenStax Student Resources. (Les réponses aux projets de groupe ne sont pas fournies, car il s'agit de devoirs intégratifs, exploratoires et ouverts.)
À propos des auteurs
Auteurs collaborateurs principaux
Dr Shaun V. Ault, Valdosta State University. Le Dr Ault a rejoint le corps professoral de la Valdosta State University en 2012, occupant les fonctions de directeur du département de mathématiques de 2017 à 2023 et de professeur depuis 2021. Il est titulaire d'un doctorat (PhD) en mathématiques de The Ohio State University, d'un baccalauréat ès arts (BA) en mathématiques de l'Oberlin College et d'un baccalauréat en musique de l'Oberlin Conservatory of Music. Il a précédemment enseigné à la Fordham University et à The Ohio State University. Il est professionnel certifié de l'Institutional Review Board et membre de la Mathematical Association of America, de l'American Mathematical Society et de la Society for Industrial and Applied Mathematics. Ses intérêts de recherche portent sur la topologie algébrique et les mathématiques computationnelles et il a publié dans un certain nombre de revues à comité de lecture. Il est l'auteur de deux manuels : Understanding Topology: A Practical Introduction (Johns Hopkins University Press, 2018) et, avec Charles Kicey, Counting Lattice Paths Using Fourier Methods. Applied and Numerical Harmonic Analysis, Springer International (2019).
Dre Soohyun Nam Liao, University of California San Diego. La Dre Liao a rejoint le corps professoral de l'UC San Diego en 2015, occupant le poste de professeure adjointe d'enseignement depuis 2021. Elle est titulaire d'un doctorat (PhD) et d'une maîtrise (MS) en informatique et ingénierie de l'UC San Diego et d'un baccalauréat ès sciences (BS) en génie électronique de l'Université de Séoul, en Corée du Sud. Elle a précédemment enseigné à Princeton University et a été ingénieure chez Qualcomm Inc. Elle se concentre sur la recherche sur l'enseignement de l'informatique (CS) comme moyen de soutenir la diversité et l'équité (DEI) dans les programmes d'informatique (CS). Parmi ses récents articles coécrits figure, avec Yunyi She, Korena S. Klimczak et Michael E. Levin, « ClearMind Workshop: An ACT-Based Intervention Tailored for Academic Procrastination among Computing Students », SIGCSE (1) 2024: 1216-1222. Elle a reçu une subvention de la National Science Foundation pour développer une boîte à outils pour A14All (camps de science des données pour les élèves du secondaire).
Larry Musolino, Pennsylvania State University. Larry Musolino a rejoint le corps professoral de Penn State, Lehigh Valley, en 2015, où il est professeur adjoint d'enseignement des mathématiques depuis 2022. Il a obtenu une maîtrise (MS) en mathématiques de la Texas A&M University, une maîtrise (MS) en statistiques du Rochester Institute of Technology (RIT) et des maîtrises (MS) en informatique et en génie électrique, toutes deux de la Lehigh University. Il a obtenu son baccalauréat ès sciences (BS) en génie électrique du City College of New York (CCNY). Il était auparavant membre émérite du personnel technique dans la fabrication de semi-conducteurs chez LSI Corporation. Il est membre du groupe consultatif OER (Ressources éducatives libres) de Penn State et est l'auteur d'un manuel libre de calcul infinitésimal. De plus, il a coécrit un cahier d'exercices libre intitulé Calculus for Engineering. Il a contribué à plusieurs manuels OpenStax, rédigeant les chapitres de statistiques dans le manuel Principles of Finance et éditant et révisant Introductory Statistics, 2e, et Introductory Business Statistics, 2e.
Les auteurs souhaitent exprimer leur profonde gratitude à la rédactrice de développement Ann West pour sa révision habile et son accompagnement bienveillant de ce manuscrit. Les auteurs remercient également la réviseure technique Dhawani Shah (doctorat en statistiques, Gujarat University) pour sa contribution aux révisions techniques des chapitres tout au long du processus de développement du contenu.
Auteurs collaborateurs
Wisam Bukaita, Lawrence Technological University
Aeron Zentner, Coastline Community College
Réviseurs
Wisam Bukaita, Lawrence Technological University
Drew Lazar, Ball State University
J. Hathaway, Brigham Young University-Idaho
Salvatore Morgera, University of South Florida
David H. Olsen, Utah Tech University
Thomas Pfaff, Ithaca College
Jian Yang, University of North Texas
Aeron Zentner, Coastline Community College
Ressources supplémentaires
Les ressources pour les enseignants pour ce livre comprennent des manuels de solutions et des guides de démarrage. Celles-ci sont disponibles sur la page des ressources pour enseignants d'OpenStax pour ce livre. Les enseignants peuvent également trouver et partager du matériel pédagogique créé par la communauté sur oercommons.org/hubs/OpenStax.