Mesures de position - Principes de la science des données

3.3 Mesures de position

Objectifs d'apprentissage

À la fin de cette section, vous devriez être en mesure de :

3.3.1 Définir et calculer les centiles, les quartiles et les scores $z$ pour un jeu de données.
3.3.2 Utiliser Python pour calculer des mesures de position pour un jeu de données.

Les mesures courantes de position comprennent les centiles et les quartiles ainsi que les scores $z$ , qui servent tous à indiquer l'emplacement relatif d'un point de données particulier.

Centiles

Si un étudiant obtient 47 à un examen de biologie, il est difficile de savoir s'il a bien ou mal réussi par rapport à la population de tous les autres étudiants qui ont passé l'examen. Les centiles (percentiles) permettent d'évaluer et de comparer la distribution des valeurs et la position d'un point de données spécifique par rapport à l'ensemble du jeu de données en indiquant le pourcentage de points de données situés en dessous de celui-ci. Plus précisément, un centile est une valeur sur une échelle de cent qui indique le pourcentage d'une distribution qui lui est inférieur ou égal. Supposons que l'étudiant apprenne qu'il se situe au 90e centile à l'examen de biologie. Ce centile indique que l'étudiant a obtenu une note supérieure à 90 % de l'ensemble des autres étudiants passant le test. Cela revient à dire que la note de l'étudiant le place dans les 10 % supérieurs de tous les étudiants passant le test de biologie. Ainsi, cet étudiant situé au 90e centile a très bien réussi l'examen, même si sa note brute était de 47.

Pour calculer les centiles, les données doivent être ordonnées de la plus petite à la plus grande, puis divisées en centièmes. Si vous vous situez au 80e centile à un test d'aptitude, cela ne signifie pas nécessairement que vous avez obtenu 80 % au test. Cela signifie que 80 % des scores au test sont inférieurs ou égaux au vôtre et que les 20 % restants sont supérieurs ou égaux au vôtre.

Les centiles sont utiles pour comparer de nombreux types de valeurs. Par exemple, un fonds commun de placement peut indiquer que son rendement au cours de l'année écoulée se situait au 80e centile de l'ensemble des fonds communs de placement de son groupe de référence. Cela indique que le fonds a obtenu de meilleurs résultats que 80 % de tous les autres fonds du groupe. Cela indique également que 20 % des fonds ont obtenu de meilleurs résultats que ce fonds en particulier.

Pour calculer les centiles d'une valeur de données spécifique dans un jeu de données, ordonnez d'abord le jeu de données de la plus petite à la plus grande valeur et comptez le nombre de valeurs dans le jeu de données. Repérez la mesure qui vous intéresse et comptez combien de valeurs de données se situent en dessous de cette mesure. Le centile de la mesure est ensuite calculé comme suit :

Centile = \frac{nombre de valeurs de données inférieures à la mesure}{nombre total de valeurs de données} \times 100 % = \frac{n}{N} \times 100 %

Exemple 3.10

Problème

Le jeu de données ordonné suivant représente les scores de 15 employés à un test d'aptitude :

51, 63, 65, 68, 71, 75, 75, 77, 79, 82, 88, 89, 89, 92, 95

Déterminez le centile de l'employé ayant obtenu un score de 88 au test d'aptitude.

Solution

Il y a 15 valeurs de données au total, et 10 valeurs de données sont inférieures à 88.

Centile = \frac{nombre de valeurs de données inférieures à la mesure}{nombre total de valeurs de données} \times 100 % = \frac{10}{15} \times 100 % = 67 e centile

Quartiles

Alors que les centiles séparent les données en 100 parties égales, les quartiles séparent les données en quarts, ou quatre parties égales. Pour trouver les quartiles, déterminez d'abord la médiane, ou deuxième quartile. Le premier quartile, $Q_{1}$ , est la valeur centrale, ou médiane, de la moitié inférieure des données, et le troisième quartile, $Q_{3}$ , est la valeur centrale de la moitié supérieure des données.

Remarquez la correspondance suivante entre les quartiles et les centiles :

Le premier quartile correspond au 25e centile.
Le deuxième quartile (qui est la médiane) correspond au 50e centile.
Le troisième quartile correspond au 75e centile.

Exemple 3.11

Problème

Considérons le jeu de données ordonné suivant, qui représente le temps en secondes mis par un athlète pour accomplir une course de 40 yards :

5.4, 6.0, 6.3, 6.8, 7.1, 7.2, 7.4, 7.5, 7.9, 8.2, 8.7

Solution

La médiane, ou deuxième quartile, est la valeur centrale de ce jeu de données, soit 7.2. Remarquez que 50 % des valeurs de données se situent en dessous de la médiane, et 50 % des valeurs de données se situent au-dessus de la médiane. La moitié inférieure des valeurs de données est constituée de 5.4, 6.0, 6.3, 6.8, 7.1. Notez qu'il s'agit des valeurs de données inférieures à la médiane. La moitié supérieure des valeurs de données est constituée de 7.4, 7.5, 7.9, 8.2, 8.7, qui sont les valeurs de données supérieures à la médiane.

Pour trouver le premier quartile, $Q_{1}$ , repérez la valeur centrale de la moitié inférieure des données (5.4, 6.0, 6.3, 6.8, 7.1). La valeur centrale de la moitié inférieure du jeu de données est 6.3. Remarquez qu'un quart, soit 25 %, des valeurs de données sont inférieures à ce premier quartile, et 75 % des valeurs de données sont supérieures à ce premier quartile.

Pour trouver le troisième quartile, $Q_{3}$ , repérez la valeur centrale de la moitié supérieure des données (7.4, 7.5, 7.9, 8.2, 8.7). La valeur centrale de la moitié supérieure du jeu de données est 7.9. Remarquez qu'un quart, soit 25 %, des valeurs de données sont supérieures à ce troisième quartile, et 75 % des valeurs de données sont inférieures à ce troisième quartile.

Ainsi, les quartiles $Q_{1}$ , $Q_{2}$ , $Q_{3}$ pour ce jeu de données sont respectivement 6.3, 7.2 et 7.9.

L'écart interquartile (IQR) (interquartile range (IQR)) est un nombre qui indique la dispersion de la moitié centrale, soit les 50 % centraux, des données. Il correspond à la différence entre le troisième quartile, $Q_{3}$ , et le premier quartile, $Q_{1}$ .

IQR = Q_{3} - Q_{1}

Notez que l'IQR fournit une mesure de variabilité qui exclut les valeurs aberrantes.

Dans l'Exemple 3.11, l'IQR peut être calculé comme suit :

IQR = Q_{3} - Q_{1} = 7.9 - 6.3 = 1.6

Les quartiles et l'IQR peuvent être utilisés pour signaler d'éventuelles valeurs aberrantes dans un jeu de données. Par exemple, si la plupart des employés d'une entreprise gagnent environ 50 000 $ et que le PDG de l'entreprise gagne 2,5 millions de dollars, nous considérons alors le salaire du PDG comme une valeur aberrante car ce salaire est significativement différent de tous les autres salaires du jeu de données. Une valeur aberrante peut également être une valeur nettement inférieure aux autres valeurs de données d'un jeu de données ; ainsi, si un employé ne gagne que 15 000 $, ce faible salaire pourrait également être considéré comme une valeur aberrante.

Pour détecter les valeurs aberrantes, vous pouvez utiliser les quartiles et l'IQR afin de calculer une borne inférieure et une borne supérieure (upper bound) pour les valeurs aberrantes. Toute valeur de données située en dessous de la borne inférieure (lower bound) ou au-dessus de la borne supérieure sera alors signalée comme valeur aberrante. Ces valeurs de données doivent faire l'objet d'un examen plus approfondi afin de déterminer la nature de cette situation aberrante et d'établir si les valeurs de données sont valides ou non.

Pour calculer les bornes inférieure et supérieure pour les valeurs aberrantes, utilisez les formules suivantes :

\begin{array}{rcl} Borne inférieure pour les valeurs aberrantes & = & Q_{1} - (1.5 \cdot IQR) \\ Borne supérieure pour les valeurs aberrantes & = & Q_{3} + (1.5 \cdot IQR) \end{array}

Ces formules utilisent généralement 1,5 comme valeur de seuil pour identifier les valeurs aberrantes dans un jeu de données.

Exemple 3.12

Problème

Calculez l'IQR pour les 13 prix de logements suivants et déterminez si certaines des valeurs de prix de logements sont des valeurs aberrantes potentielles. Les valeurs sont en dollars américains.

389950, 230500, 158000, 479000, 639000, 114950, 5500000, 387000, 659000, 529000, 575000, 488800, 1095000

Solution

Ordonnez les données de la plus petite à la plus grande.

114950, 158000, 230500, 387000, 389950, 479000, 488800, 529000, 575000, 639000, 659000, 1095000, 5500000

Tout d'abord, déterminez la médiane du jeu de données. Il y a 13 valeurs de données, la médiane est donc la valeur centrale, qui est 488 800.

Ensuite, calculez $Q_{1}$ et $Q_{3}$ .

Pour le premier quartile, examinez les valeurs de données situées sous la médiane. Les deux valeurs centrales de cette moitié inférieure des données sont 230 500 et 387 000. Pour déterminer le premier quartile, calculez la moyenne de ces deux valeurs.

Pour le troisième quartile, examinez les valeurs de données situées au-dessus de la médiane. Les deux valeurs centrales de cette moitié supérieure des données sont 639 000 et 659 000. Pour déterminer le troisième quartile, calculez la moyenne de ces deux valeurs.

\begin{array}{rcl} Q_{1} & = & \frac{230,500 + 387,000}{2} = 308,750 \\ Q_{3} & = & \frac{639,000 + 659,000}{2} = 649,000 \end{array}

Maintenant, calculez l'écart interquartile (IQR) :

IQR = 649,000 - 308,750 = 340,250

Calculez la valeur de 1,5 fois l'écart interquartile (IQR) :

(1.5) (IQR) = (1.5) (340,250) = 510,375

Calculez les bornes inférieure et supérieure pour les valeurs aberrantes :

\begin{array}{rcl} Borne inférieure & = & Q_{1} - (1.5) (IQR) = 308,750 - 510,375 = - 201,625 \\ Borne supérieure & = & Q_{3} + (1.5) (IQR) = 649,000 + 510,375 = 1,159,375 \end{array}

La borne inférieure pour les valeurs aberrantes est de −201 625. Bien entendu, aucun prix de logement n'est inférieur à −201 625, il n'y a donc pas de valeurs aberrantes à l'extrémité inférieure du jeu de données.

La borne supérieure pour les valeurs aberrantes est de 1 159 375. La valeur de 5 500 000 est supérieure à la borne supérieure de 1 159 375. Par conséquent, le prix de maison de 5 500 000 $ est une valeur aberrante potentielle. Cela est important car la présence de valeurs aberrantes pourrait potentiellement indiquer des erreurs de données ou d'autres anomalies dans le jeu de données qui devraient faire l'objet d'un examen approfondi. Par exemple, il a pu se produire une erreur de saisie et un prix de maison de 550 000 $ a pu être saisi par erreur comme étant de 5 500 000 $.

Scores $z$

Le score $z$ (z-score) est une mesure de la position d'une entrée dans un jeu de données qui utilise la moyenne et l'écart type des données. Il représente le nombre d'écarts types dont une valeur de données s'écarte de la moyenne. Par exemple, supposons que dans un certain quartier, le prix de vente moyen d'une maison soit de 350 000 $ et l'écart type de 40 000 $. Une maison particulière se vend 270 000 $. À partir du prix de vente de cette maison, nous pouvons calculer la position relative de cette maison par rapport aux autres ventes de maisons dans le même quartier.

Le score $z$ correspondant d'une mesure situe la mesure donnée par rapport à la moyenne et à l'écart type de l'ensemble de la population. La formule de calcul d'un score $z$ est la suivante :

z = \frac{x - µ}{σ}

Où :
$x$ est la mesure
$µ$ est la moyenne
$σ$ est l'écart type

Remarquez que lorsqu'une mesure est inférieure à la moyenne, le score $z$ correspondant prend une valeur négative. Si la mesure est exactement égale à la moyenne, le score $z$ correspondant est nul. Si la mesure est supérieure à la moyenne, le score $z$ correspondant prend une valeur positive.

Les scores $z$ peuvent également être utilisés pour identifier les valeurs aberrantes. Puisque les scores $z$ mesurent le nombre d'écarts types par rapport à la moyenne pour une valeur de données, un score $z$ de 3 indique une valeur de données située à 3 écarts types au-dessus de la moyenne. Cela représente une valeur de données nettement éloignée de la moyenne, et en général, un score $z$ inférieur à −3 ou un score $z$ supérieur à +3 peut être utilisé pour signaler les valeurs aberrantes.

Exemple 3.13

Problème

Pour l'exemple de la maison dans l'Exemple 3.12, la valeur $x$ est le prix de la maison de 270 000 $, la moyenne $µ$ est de 350 000 $ et l'écart type $σ$ est de 40 000 $. Calculez le score $z$ .

Solution

Le score $z$ peut être calculé comme suit :

z = \frac{x - µ}{σ} = \frac{270,000 - 350,000}{40,000} = \frac{- 80,000}{40,000} = - 2

Ce score $z$ de −2 indique que le prix de vente de cette maison est inférieur de 2 écarts types à la moyenne, ce qui représente une valeur de données nettement inférieure à la moyenne.

Utiliser Python pour calculer des mesures de position pour un jeu de données

DataFrame.describe() calcule également différentes mesures de position sur chaque colonne d'un jeu de données. Voir min, 25 %, 50 %, 75 % et max à la Figure 3.4.

Un tableau de données résumant les statistiques portant sur 966 éléments du jeu de données « movie profit ». Les lignes du minimum, du maximum et des quartiles sont mises en surbrillance. La note minimale est de 3,3, la durée minimale est de 69, les recettes brutes minimales aux États-Unis sont de 0,01 million de dollars et les recettes brutes mondiales minimales sont de 176,6 millions de dollars. La note maximale est d'environ 9,2, la durée maximale est de 238, les recettes brutes maximales aux États-Unis sont d'environ 936,7 millions de dollars et les recettes brutes mondiales maximales sont d'environ 2,847 milliards de dollars. Pour le 25e centile, la note est d'environ 6,2, la durée est d'environ 101,3, les recettes brutes aux États-Unis sont d'environ 90,8 millions de dollars et les recettes brutes mondiales sont d'environ 223,3 millions de dollars. Pour le 50e centile (médiane), la note est d'environ 6,8, la durée est d'environ 116, les recettes brutes aux États-Unis sont d'environ 129,2 millions de dollars et les recettes brutes mondiales sont d'environ 309,3 millions de dollars. Pour le 75e centile, la note est d'environ 7,4, la durée est d'environ 130, les recettes brutes aux États-Unis sont d'environ 187,1 millions de dollars et les recettes brutes mondiales sont d'environ 472,6 millions de dollars.

Figure 3.4 Résultat de

DataFrame.describe()

avec le jeu de données Movie Profit

3.3 Mesures de position

Objectifs d'apprentissage

Centiles

Exemple 3.10

Problème

Solution

Quartiles

Exemple 3.11

Problème

Solution

Exemple 3.12

Problème

Solution

Scores zz

Exemple 3.13

Problème

Solution

Utiliser Python pour calculer des mesures de position pour un jeu de données

Scores $z$