Apprentissage supervisé

L'apprentissage supervisé est comparable à un élève apprenant auprès d'un enseignant. Au début, l'élève peut répondre incorrectement à de nombreuses questions, mais l'enseignant est présent pour le corriger à chaque fois. Lorsque l'élève fournit des réponses (en grande partie) correctes, cela prouve qu'il a suffisamment assimilé la matière et qu'il serait capable de répondre correctement à des questions similaires dans le monde réel, là où les enjeux sont concrets.

L'objectif de l'apprentissage supervisé est de produire un modèle qui établit une application entre l'ensemble des entrées ou caractéristiques et un ensemble de valeurs de sortie ou étiquettes (voir Figure 6.2). Le modèle est une fonction $y=f\left(X\right)$, où $X$ est le tableau d'entrée et $y$ est la valeur ou l'étiquette de sortie. Il y parvient par l'entraînement et le test. Lors de l'entraînement, l'algorithme crée une correspondance entre les caractéristiques d'entrée et la valeur ou l'étiquette de sortie, en passant souvent par de nombreuses itérations d'essais et d'erreurs jusqu'à atteindre un niveau d'exactitude souhaité. Le modèle est ensuite testé sur des données supplémentaires, et si l'exactitude reste suffisamment élevée, le modèle peut être déployé pour une utilisation dans des applications réelles. Dans le cas contraire, le modèle devra peut-être être considérablement modifié ou totalement abandonné.

Figure 6.2 Le cycle de l'apprentissage supervisé. Le cycle d'apprentissage supervisé (supervised learning cycle) consiste à collecter des données, à s'entraîner sur une partie de ces données, à tester sur une autre partie des données, puis à déployer le modèle pour résoudre des problèmes portant sur de nouvelles données.

Parmi les exemples de modèles d'apprentissage supervisé, on compte la régression linéaire (abordée dans Analyse de corrélation et de régression linéaire), la régression logistique, la classification naïve bayésienne, les arbres de décision, les forêts aléatoires et de nombreux types de réseaux de neurones. La régression linéaire peut ne pas sembler être un algorithme d'apprentissage automatique car elle ne comporte pas d'étapes de correction. Une formule produit simplement la droite du meilleur ajustement. Cependant, la formule de régression elle-même représente une optimisation qui réduit l'erreur entre les valeurs prédites par la droite de régression et les données réelles. Si le modèle de régression linéaire n'est pas assez précis, des données supplémentaires peuvent être recueillies pour en améliorer l'exactitude, et une fois la droite de régression trouvée, elle peut être utilisée pour prédire des valeurs qui ne figuraient pas dans le jeu de données initial. La régression linéaire a été développée dans les chapitres précédents, et vous découvrirez la régression logistique, les méthodes bayésiennes, les arbres de décision et les forêts aléatoires plus loin dans ce chapitre.

Apprentissage non supervisé

L'apprentissage non supervisé est comparable à l'assemblage d'un puzzle sans disposer de l'image de référence pour s'orienter. Il n'est pas impossible d'assembler un puzzle sans l'image, mais cela peut s'avérer plus difficile et plus long.

Le principal avantage de l'apprentissage non supervisé réside dans le fait que les données d'entraînement n'ont pas besoin d'être étiquetées. Toutes les données sont considérées comme des entrées, et la sortie est généralement une information sur la structure inhérente aux données. Les tâches courantes consistent à déterminer des clusters, des régularités et des formes au sein du jeu de données. Par exemple, si les coordonnées actuelles en latitude et longitude de chaque individu dans le monde étaient connues et rassemblées dans un jeu de données, un algorithme pourrait découvrir des zones à forte densité de population — et ainsi apprendre l'existence des villes !

Les algorithmes d'apprentissage non supervisé comprennent le partitionnement par les k-moyennes, DBSCAN et certains types de réseaux de neurones. Plus généralement, la plupart des algorithmes de clustering et des méthodes de réduction de dimensionnalité telles que l'analyse en composantes principales (ACP) (principal component analysis (PCA)) et l'analyse topologique des données (TDA) (topological data analysis (TDA)) relèvent de l'apprentissage non supervisé. Vous découvrirez les algorithmes des k-moyennes et DBSCAN dans ce chapitre. Les sujets plus avancés que sont l'ACP et la TDA dépassent le cadre de cet ouvrage.

Variantes et modèles hybrides

Bien que nous ne traitions que des modèles supervisés et non supervisés, il importe de souligner qu'il existe d'autres modèles d'apprentissage automatique.

Lorsque certaines données d'un jeu de données possèdent des étiquettes et d'autres non, un algorithme d'apprentissage semi-supervisé peut être approprié. Les données étiquetées peuvent être traitées par un algorithme d'apprentissage supervisé afin de générer un modèle prédictif qui servira ensuite à étiqueter les données non étiquetées, appelées pseudo-données. Dès lors, le jeu de données peut être considéré comme entièrement étiqueté et analysé au moyen de l'apprentissage supervisé.

L'apprentissage par renforcement introduit des récompenses en cas d'exactitude tout en pénalisant les erreurs. Ce modèle est celui qui se rapproche le plus de l'analogie de la relation élève-enseignant. De nombreux algorithmes d'intelligence artificielle utilisent l'apprentissage par renforcement. Bien que le renforcement améliore généralement l'exactitude, il peut poser problème en figeant le modèle dans un état rigide. Par exemple, avez-vous déjà remarqué que lorsque vous recherchez un type de produit en ligne, vous commencez à voir des publicités pour ce type d'articles partout — même après les avoir achetés ? C'est comme si l'algorithme avait décidé que le seul produit que vous souhaitiez acheter était celui que vous veniez de rechercher !

Construction d'un modèle

Supposons que nous disposions d'un jeu de données avec des entrées ou des caractéristiques $X$ et des étiquettes ou des valeurs $y$. Notre objectif est de produire une fonction qui applique $y=f\left(X\right)$. En pratique, nous ne nous attendons pas à ce que notre modèle capture la fonction $f$ avec une exactitude de 100 %. Nous cherchons plutôt à trouver un modèle $\hat{f}$ tel que les valeurs prédites $\hat{y}=\hat{f}\left(X\right)$ soient suffisamment proches de $y$. Dans la plupart des cas, la métrique utilisée pour déterminer l'adéquation de notre modèle $\hat{f}$ est une mesure d'erreur entre $\hat{y}$ et $y$ (par exemple, voir le calcul des résidus d'une régression linéaire dans Analyse de corrélation et de régression linéaire). La façon dont l'erreur est mesurée est propre au type de modèle que nous construisons et à la nature des sorties. Lorsque les sorties sont des étiquettes, nous pouvons utiliser un décompte ou un pourcentage de mauvaises classifications. Lorsque les sorties sont numériques, nous pouvons calculer les distances totales (absolues, au carré, etc.) entre les valeurs de sortie prédites et réelles.

Tout d'abord, les données sont divisées en un ensemble d'entraînement et un ensemble de test. Habituellement, environ 60 à 80 % des données sont allouées à l'entraînement, le reste étant destiné au test. Pendant l'entraînement, les paramètres peuvent être ajustés pour réduire l'erreur. Le résultat de la phase d'entraînement sera le modèle $\hat{f}$. Ensuite, le modèle est évalué sur l'ensemble de test et l'erreur est calculée entre les valeurs prédites et les sorties connues. Si le modèle atteint un certain seuil d'exactitude prédéfini (erreur suffisamment faible), il peut être utilisé avec un certain degré de confiance pour effectuer des prédictions sur de nouvelles données.

Mesures d'exactitude

Comme nous l'avons mentionné précédemment, il est important d'évaluer la qualité de nos modèles d'apprentissage automatique. Le choix d'une mesure spécifique d'exactitude dépend de la nature du problème. Voici quelques mesures courantes d'exactitude pour différentes tâches d'apprentissage automatique :

1. Classification
   • L'exactitude est le rapport entre le nombre de prédictions correctes et le nombre total de prédictions.
   • La précision (precision) $\left(p\right)$ est le rapport entre les prédictions de vrais positifs $\left(VP\right)$ et le nombre total de prédictions positives (vrais positifs plus faux positifs) $(VP+FP)$. Elle est utile lorsque la variable de réponse est binaire (vrai/faux) et que nous voulons minimiser les faux positifs. $p=\frac{TP}{TP+FP}$
   • Le rappel (recall) $\left(r\right)$ est le rapport entre les prédictions de vrais positifs $\left(VP\right)$ et le nombre total de positifs réels (vrais positifs plus faux négatifs $(VP+FN)$). Il est utile lorsque la variable de réponse est binaire (vrai/faux) et que nous voulons minimiser les faux négatifs. $r=\frac{TP}{TP+FN}$
   • Le score F1 (F1 score) est une combinaison de la précision $\left(p\right)$ et du rappel $\left(r\right)$. $F1=\frac{2\left(p\right)\left(r\right)}{p+r}=\frac{2TP}{2TP+FP+FN}$
2. Régression (comparaison des valeurs prédites, ${\hat{y}}_i$, et des valeurs réelles, $y_i$)
   • Erreur absolue moyenne (MAE) (mean absolute error (MAE)) : $\frac{1}{n}\sum _{i=1}^n|y_i-{\hat{y}}_i|$
   • Erreur absolue moyenne en pourcentage (MAPE) (mean absolute percentage error (MAPE)) : $\frac{1}{n}\sum _{i=1}^n|\frac{y_i-{\hat{y}}_i}{y_i}|$
   • Erreur quadratique moyenne (MSE) (mean squared error (MSE)) : $\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$
   • Racine de l'erreur quadratique moyenne (RMSE) (root mean squared error (RMSE)) : $\sqrt{\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2}$
   • Le R-deux (coefficient de détermination) est la proportion de la variance de la variable de réponse qui est prévisible à partir de la ou des variables d'entrée.

Notez que la MAE et la RMSE, également abordées dans Méthodes d'évaluation des prévisions, possèdent les mêmes unités que les données elles-mêmes. La MSE et la RMSE peuvent être très sensibles aux valeurs aberrantes en raison de l'élévation des différences au carré. La MAPE (également introduite dans Méthodes d'évaluation des prévisions) est souvent exprimée en pourcentage, que l'on obtient aisément en multipliant la valeur brute de la MAPE par 100 %. La mesure du R-deux, abordée dans Statistiques inférentielles et analyse de régression dans le contexte de la régression linéaire, peut être calculée par des logiciels statistiques, bien que nous n'en fassions pas un usage significatif dans ce chapitre. Dans tous les cas, plus la valeur du terme d'erreur est faible, plus la modélisation est précise.

En raison de la lourdeur des calculs requis par ces mesures, des progiciels statistiques sont généralement employés pour les calculer en pratique. Toutefois, il est essentiel que chaque scientifique des données comprenne le fonctionnement de ces formules afin d'évaluer et d'interpréter correctement les résultats. Nous allons maintenant traiter un court exemple à la main pour vous permettre de vous familiariser avec ces formules.

Surapprentissage

Il peut sembler souhaitable à première vue de concevoir un modèle qui ne commet aucune erreur sur les données d'entraînement ; pourtant, ces modèles « parfaits » sont généralement médiocres pour prédire des données absentes de l'ensemble d'entraînement. La meilleure façon d'illustrer cette notion est de l'aborder par un exemple.

Supposons que nous souhaitions concevoir un modèle pour représenter la relation entre x et y à partir du jeu de données fourni,

How would we go about creating the model? We might first split S into a training set, $S_{\text{train}}=\{(2,10),(4,9),(6,6),(8,7)\}$, and testing set, $S_{\text{test}}=\left\{\right(10,4),(12,5\left)\right\}$. It can be shown that the cubic equation, $\hat{y}=\frac{1}{8}{x}^3-\frac{7}{4}{x}^2+\frac{13}{2}x+3$, fits the training data perfectly. However, there is no reason to expect that the relationship between x and y is truly cubic. Indeed, the predictions of the cubic model on $S_{\text{test}}$ are terrible! See Table 6.2.

Le modèle linéaire (régression linéaire) qui représente le meilleur ajustement pour les quatre premiers points de données est $\hat{y}=-\mathrm{0.\; 6}x+11$. La Figure 6.3 présente les points de données ainsi que les deux modèles.

Figure 6.3 Points de données représentés avec un modèle cubique et un modèle linéaire. Les quatre points de données de $S_{\text{train}}$ peuvent être ajustés sur une courbe cubique (0 % d'erreur), mais celle-ci donne de mauvais résultats sur les données additionnelles de l'ensemble de test, $S_{\text{test}}$. La courbe cubique surajuste les données d'entraînement. La droite de régression ne s'ajuste pas exactement aux données d'entraînement ; elle réussit néanmoins bien mieux à prédire les données supplémentaires.

Pour bien apprécier la supériorité du modèle linéaire par rapport au modèle cubique dans cet exemple, nous allons calculer la MAPE et la RMSE pour chaque modèle, tel qu'indiqué dans le Tableau 6.3.

• MAPE pour le modèle cubique : $\frac{1}{6}(0/10+0/9+0/6+0/7+14/4+40/5)=1.917$, soit $191.7\%$
• RMSE pour le modèle cubique : $\sqrt{\frac{1}{6}(0^2+0^2+0^2+0^2+{14}^2+{40}^2)}=17.3$
• MAPE pour le modèle linéaire : $\frac{1}{6}(0.2/10+0.4/9+1.4/6+0.8/7+1/4+1.2/5)=0.15$, soit $15\%$
• RMSE pour le modèle linéaire : $\sqrt{\frac{1}{6}({0.2}^2+{0.4}^2+{1.4}^2+{0.8}^2+1^2+{1.2}^2)}=0.93$

Les valeurs de MAPE et de RMSE pour le modèle linéaire sont bien inférieures à leurs valeurs respectives pour le modèle cubique, bien que ce dernier prédise quatre valeurs avec une exactitude de 100 %.

Sous-apprentissage

Un modèle sous-ajusté peut donner de bons résultats sur certaines données d'entrée et de mauvais résultats sur d'autres. Cela s'explique par le fait qu'un modèle sous-ajusté ne parvient pas à détecter certaines caractéristiques importantes du jeu de données.

Exemple 6.3

Problème

Un étudiant a consigné le temps passé sur chaque série d'exercices dans son cours de statistique. Chaque série était de longueur sensiblement équivalente, mais l'étudiant a remarqué qu'il passait de moins en moins de temps à les réaliser au fil du semestre. Déterminez le modèle de régression linéaire pour les données du Tableau 6.4 et commentez son efficacité pour établir des prédictions ultérieures.

Série d'exercices	1	2	3	4	5	6
Temps (h)	9.8	5.3	3.4	2.6	1.9	1.7

Tableau 6.4 Temps d'achèvement des séries d'exercices

Solution

Les données présentent une tendance nettement décroissante. Un modèle de régression linéaire simple pour ces données est :

$$\hat{y}=-1.47143x+9.26667$$

Cependant, la droite du meilleur ajustement ne semble pas s'ajuster très bien aux données. Il est impossible qu'une fonction linéaire puisse s'incurver de la manière dont les points de données semblent le faire dans cet exemple (voir Figure 6.4).

Figure 6.4 Modèle linéaire s'ajustant le mieux aux données de l'Exemple 6.3. Ce graphique présente un nuage de points composé des six points de données ainsi que le modèle linéaire qui s'ajuste le mieux aux données. Il s'agit d'un cas manifeste de sous-apprentissage.

Un autre problème posé par l'utilisation du modèle linéaire pour les données du Tableau 6.4 est qu'à terme, les valeurs de $\hat{y}$ deviennent négatives ! Selon ce modèle, il faudrait environ $-1$ heure pour achever la 7e série d'exercices, ce qui est absurde. Un modèle exponentiel décroissant, illustré dans la Figure 6.5, conviendrait probablement mieux ici. Le choix judicieux du modèle constitue le moyen le plus efficace de remédier au sous-apprentissage.

Figure 6.5 Modèle exponentiel s'ajustant le mieux aux données de l'Exemple 6.3. Ce graphique présente un nuage de points constitué des six points de données ainsi que le modèle exponentiel qui s'ajuste le mieux aux données. Selon ce modèle, la prédiction de $\hat{y}=1$ lorsque $x=7$ semble bien plus raisonnable.