Biais et équité

Les scientifiques des données doivent être conscients des sources potentielles de biais et s'efforcer de respecter l'équité. (Voir Qu'est-ce que l'apprentissage automatique ? pour une définition formelle du biais.) Le biais (bias), qu'il soit intentionnel ou non, engendre des résultats non éthiques et peut même susciter des problèmes juridiques. Il est important de répondre de manière proactive à toute préoccupation potentielle avant de conclure le projet et d'en publier les résultats. Les équipes de science des données doivent planifier et concevoir des modèles tenant compte de toutes les issues possibles, en plaçant la justice et l'équité au premier plan de leurs préoccupations afin de garantir les meilleurs résultats possibles.

Les biais dans les données peuvent conduire à des analyses et des modélisations biaisées, aboutissant finalement à des décisions déraisonnables. Par exemple, si le jeu de données d'une entreprise ne représente qu'un groupe démographique spécifique, les enseignements et les prédictions produits ne s'appliqueront qu'à ce groupe. Cela pourrait conduire non seulement à l'exclusion et à la discrimination envers des groupes marginalisés, mais aussi à une modélisation inexacte lorsqu'on lui fournit des données provenant de ces groupes. Il est important de vérifier régulièrement l'absence de biais dans les données et d'y remédier de manière appropriée.

Lors du développement d'un modèle, il est important d'évaluer la manière dont celui-ci pourrait introduire un biais ou un manque d'équité dans son processus de prise de décision afin d'éviter ses motivations. L'équité (fairness) en science des données et en apprentissage automatique est décrite comme l'absence de biais dans les modèles et les algorithmes utilisés pour traiter les données. Pour s'assurer que les modèles sont impartiaux et équitables, les développeurs doivent évaluer diverses caractéristiques, notamment la qualité et la représentativité des données, la manière de scinder les données en groupes d'entraînement et de test, la façon dont les modèles sont entraînés et validés, ainsi que la manière dont les résultats prévus sont surveillés et ajustés. En pratique, le biais des données peut être dû à de mauvaises techniques d'échantillonnage, à des jeux de données de petite taille ou à des différences de protocoles de mesure entre les différents collecteurs de données, mais il peut également découler de pratiques intentionnelles, telles que le « maquillage des comptes » pour rendre les données financières plus favorables à une entreprise, la fabrication ou la falsification de données, le « cherry-picking » (ne choisir que les données qui soutiennent une conclusion prédéfinie et ignorer le reste), et la manipulation du modèle pour parvenir à un résultat souhaité. Les motivations sous-jacentes à ces pratiques incluent le gain financier, le prestige et l'intention de discriminer d'autres groupes démographiques.

Lorsque les données sont biaisées, les modèles et les algorithmes qui en résultent peuvent conduire à des décisions mal éclairées, des prédictions inexactes ou des résultats inéquitables. Un exemple concret de la manière dont le biais dans les méthodes de science des données ou la collecte de données peut ruiner une analyse est illustré par le cas de l'algorithme COMPAS utilisé dans le système de justice pénale américain. COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) est un algorithme conçu pour prédire la probabilité de récidive d'un prévenu (Berk et al., 2021). Cependant, une enquête menée en 2016 a révélé que l'algorithme était biaisé au détriment des prévenus noirs. L'analyse a montré que l'algorithme classait à tort les prévenus noirs comme présentant un risque élevé à un taux près de deux fois supérieur à celui des prévenus blancs. À l'inverse, les prévenus blancs étaient plus susceptibles d'être classés à tort comme présentant un faible risque par rapport aux prévenus noirs. Ce biais dans la collecte des données et dans l'algorithme a conduit à des décisions de détermination de peine et de libération conditionnelle injustes, affectant de manière disproportionnée les personnes noires et compromettant l'équité et l'exactitude du processus judiciaire. Ce cas souligne la nécessité critique d'une évaluation rigoureuse et d'une atténuation des biais dans les applications de science des données afin de garantir des résultats justes et équitables. Une utilisation intéressante de l'IA au moyen de la bibliothèque open source Python FairLens pour approfondir l'analyse de ce jeu de données est disponible sur ce site web des politiques de l'OCDE, bien qu'une telle application doive être examinée avec prudence.

L'objectif principal du scientifique des données est de construire des modèles capables de représenter fidèlement et équitablement la population d'intérêt, en mesurant et en atténuant autant que possible les biais potentiels dans les jeux de données utilisés pour préparer les modèles, et en intégrant l'équité dans les algorithmes utilisés pour analyser les données. Cela comprend le test objectif de la conception de l'algorithme, l'utilisation de protocoles standard pour la collecte des données, la garantie d'un traitement adéquat des données, et l'assurance que toute décision prise dans le processus de modélisation vise à améliorer le modèle et non à le manipuler pour atteindre un résultat souhaité. L'utilisation des jeux de données d'entraînement disponibles (voir Prise de décision à l'aide des bases de l'apprentissage automatique) est cruciale pour détecter les divergences ou les inégalités susceptibles d'entraîner des résultats injustes. Les modèles et les algorithmes doivent être testés fréquemment pour détecter les biais potentiels et attendus, afin de garantir une équité continue tout au long du cycle de vie du modèle.

Anonymisation des données

Comme indiqué dans Éthique de la collecte de données, le processus consistant à supprimer ou à modifier des informations personnellement identifiables est appelé respectivement anonymisation ou pseudonymisation des données. Les données anonymisées peuvent généralement continuer d'être utilisées pour l'analyse sans compromettre l'identité de la personne. La pseudonymisation des données consiste à masquer, coder ou chiffrer les valeurs d'attributs spécifiques des données. Des attributs tels que les noms ou les numéros de sécurité sociale peuvent être remplacés par des valeurs artificielles. Si nécessaire, ces valeurs peuvent être réattribuées ultérieurement à l'aide d'une table de correspondance sécurisée ou d'un algorithme de déchiffrement. Une méthode courante de pseudonymisation s'appelle le hachage (hashing), qui est le processus consistant à transformer des données en une valeur ou une chaîne de longueur fixe (appelée un haché), généralement à l'aide d'un algorithme appelé fonction de hachage. La propriété clé du hachage est qu'il produit une sortie unique pour chaque entrée unique (dans les limites des contraintes pratiques), tout en rendant impossible l'inversion de la transformation pour récupérer l'entrée d'origine à partir du haché.

À titre d'exemple, dans une université donnée, les dossiers des étudiants sont stockés en toute sécurité sur un serveur privé. De temps à autre, des étudiants salariés doivent extraire des relevés de notes du serveur pour effectuer des analyses ; cependant, une politique stricte interdit aux étudiants d'avoir accès aux informations personnellement identifiables de leurs camarades. Par conséquent, le service des technologies de l'information de l'université a conçu un système de codage dans lequel le nom de famille et le numéro d'étudiant sont combinés en un mot de passe ou code d'accès, qui peut être utilisé pour accéder aux notes de cet étudiant sur le serveur. Il s'agit d'un exemple de pseudonymisation, car les PII sont encodées plutôt que supprimées du jeu de données.

Une anonymisation robuste des données doit suivre une politique de k-anonymisation (k-anonymization), qui est le principe consistant à s'assurer que chaque enregistrement au sein d'un jeu de données ne puisse être distingué d'au moins $k-1$ autres enregistrements en ce qui concerne un ensemble déterminé d'attributs ou de caractéristiques d'identification. Cette approche permet de réduire le risque de réidentification des personnes dans un jeu de données, autorisant les organisations à protéger les clients et leurs informations sans restreindre leur capacité à utiliser les données pour en tirer des enseignements et prendre des décisions.

La politique d'anonymisation des données (y compris la détermination de k dans la k-anonymisation si nécessaire) doit être définie par le responsable de la conformité réglementaire (RCO) ou par d'autres professionnels de la conformité possédant des connaissances spécialisées en matière de réglementation sur la confidentialité des données. Ces professionnels doivent bien connaître les réglementations en vigueur sur la confidentialité des données et le processus de masquage des données afin de s'assurer que toutes les mesures de sécurité possibles sont conformes à ces réglementations. Il est également important que tous les processus de masquage des données utilisent des techniques protégées pour garantir que les données ne puissent pas être consultées ou manipulées de manière non autorisée.

Les données protégées par des droits de propriété intellectuelle, tels que le droit d'auteur, peuvent également être anonymisées tant que le titulaire des droits de propriété intellectuelle a donné son autorisation. L'anonymisation des données est utile pour préserver la confidentialité des données sensibles tout en respectant les droits de propriété intellectuelle associés aux données d'origine. Cependant, certaines précautions doivent être prises pour s'assurer que les données ne sont pas utilisées à des fins contraires à l'éthique ou illégales.

Le processus d'anonymisation des données suit généralement quelques étapes courantes.

1. Tout d'abord, il est important de déterminer quels attributs de données doivent être anonymisés et lesquels ne le doivent pas.
2. Une fois les éléments de données identifiés, l'étape suivante consiste à développer une technique pour masquer les données sensibles et éliminer les éléments d'identification.
3. Des outils tels que le hachage et le chiffrement peuvent être utilisés pour anonymiser les données.
4. Il est essentiel de s'assurer que toutes les techniques utilisées pour le masquage des données sont sécurisées et conformes aux réglementations en vigueur sur la protection de la vie privée.
5. Les données doivent ensuite être testées et observées pour s'assurer que les processus de masquage sont correctement mis en œuvre.
6. Pour une sécurité accrue, l'anonymisation des données devrait également faire appel à la k-anonymisation.
7. Enfin, une gestion des accès doit être instaurée afin de garantir que seules les personnes disposant des privilèges appropriés puissent accéder aux données.

Un exemple de données masquées :

Luke Smith, date de naissance 1997, sécurité sociale 567-89-1234 et adresse 123 Main Street devient « LS97, XXX-XX-XXXX, XXX Main Street ».

Nous constatons ici que le nom et la date de naissance sont hachés en un code de quatre caractères, « LS97 », tandis que le numéro de sécurité sociale et le numéro de rue sont entièrement masqués, éliminant ainsi complètement ces attributs.

Validation des données

La validation des données (data validation) (telle qu'introduite dans Collecte et préparation des données) est le processus de vérification, d'assurance et de confirmation de l'exactitude et de la fiabilité des données avant leur utilisation dans la prise de décision. Lorsque la validation des données et les règles éthiques sont appliquées conjointement, les modèles et les analyses qui exploitent ces données s'avèrent plus fiables et plus efficaces.

La validation des données fournit un ensemble de vérifications et de contrôles qui permettent de s'assurer que les données répondent à certaines normes d'exactitude et de fiabilité. Elle permet également de s'assurer que les données sont traitées de manière appropriée et qu'elles respectent les politiques et les principes éthiques. En établissant des processus et des procédures de validation des données, les entreprises peuvent démontrer leur engagement en faveur d'une utilisation éthique des données, qui constitue une composante importante de toute politique de gouvernance des données. Une validation efficace des données protégera celles-ci de l'influence des biais, des préjugés ou des idées préconçues. Comme mentionné précédemment, des données non biaisées sont essentielles à une modélisation éthique, car elles offrent une représentation fidèle d'une situation du monde réel plutôt que d'être influencées par des intentions ou des opinions personnelles propres à certains individus, et elles garantissent que les décisions reposent sur des faits et des preuves solides plutôt que sur des opinions subjectives.

Le processus de validation des données peut être divisé en trois domaines clés : la détection de valeurs aberrantes, la validation croisée et les directives éthiques.

La détection de valeurs aberrantes (outlier detection) concerne l'identification des observations qui diffèrent de manière significative du reste des données et permet de s'assurer que les données sont exemptes de valeurs aberrantes susceptibles d'affecter les résultats des modèles et des analyses. Si des valeurs aberrantes sont détectées, elles peuvent soit être supprimées, soit être imputées pour prendre des valeurs plus raisonnables.

La validation croisée (cross-validation) est un processus utilisé pour évaluer un ensemble de données, et elle implique la comparaison des résultats avec différents sous-ensembles de données ou avec l'ensemble du jeu de données en scindant de manière répétée les données en ensembles d'entraînement et de test et en évaluant la performance du modèle sur différents sous-ensembles des données. Si les résultats varient trop d'un sous-ensemble à l'autre, le modèle a peut-être fait l'objet d'un surapprentissage, ce qui entraîne des biais et des prédictions inexactes lorsqu'il est appliqué à de nouvelles données.

Les directives éthiques pour la validation des données couvrent un large éventail de protocoles et de politiques visant à déterminer quand et comment des outils tels que la validation croisée ainsi que la détection et le traitement des valeurs aberrantes doivent être utilisés.

Il existe des chevauchements et des interactions entre ces trois domaines clés de la validation des données. Les règles éthiques peuvent influencer le choix et la mise en œuvre des méthodes de détection des valeurs aberrantes afin de garantir l'équité et d'éviter la discrimination. Les techniques de validation croisée peuvent être utilisées pour évaluer la robustesse des algorithmes de détection des valeurs aberrantes et apprécier leur performance sur différents sous-ensembles de données, et les considérations éthiques peuvent guider l'interprétation des résultats de la validation croisée, notamment lors de l'évaluation de l'impact des valeurs aberrantes sur la performance et l'équité du modèle.

Bien que les règles ou directives éthiques, la validation croisée et la détection de valeurs aberrantes répondent à des objectifs distincts dans la validation des données, elles concourent ensemble à garantir la fiabilité, l'équité et la robustesse des modèles et des analyses fondés sur les données. Les intersections entre les règles éthiques, la validation croisée et la détection de valeurs aberrantes sont illustrées dans la Figure 8.4.

Figure 8.4 Diagramme de Venn illustrant la relation entre les règles éthiques, la validation croisée et la détection de valeurs aberrantes pour la validation et l'analyse des données