Mesures de tendance centrale - Principes de la science des données

3.1 Mesures de tendance centrale

Objectifs d'apprentissage

À la fin de cette section, vous devriez être capable de :

3.1.1 Définir et calculer la moyenne, la moyenne tronquée, la médiane et le mode pour un jeu de données.
3.1.2 Déterminer l'effet des valeurs aberrantes sur la moyenne et la médiane.
3.1.3 Utiliser Python pour calculer les mesures de tendance centrale d'un jeu de données.

Les mesures de tendance centrale sont des mesures statistiques qui fournissent une représentation centrale, ou typique, d'un jeu de données. Ces mesures permettent d'indiquer où se concentre la majeure partie des données et sont souvent appelées la tendance centrale (central tendency) des données. Les mesures de centre d'un jeu de données les plus couramment utilisées sont la moyenne, la médiane et le mode.

Moyenne et moyenne tronquée

La moyenne (mean) (parfois appelée moyenne arithmétique (arithmetic mean)) est la mesure de centre d'un jeu de données la plus couramment utilisée. Il arrive que la moyenne soit faussée par la présence de valeurs aberrantes (outliers), c'est-à-dire des valeurs de données sensiblement différentes du reste du jeu de données. Dans ces cas, la moyenne tronquée (trimmed mean) est souvent utilisée pour fournir une mesure plus représentative du centre du jeu de données, comme nous le verrons dans la section suivante.

Moyenne

Pour calculer la moyenne, additionnez les valeurs de tous les éléments d'un jeu de données et divisez par le nombre d'éléments. Par exemple, si vos résultats aux trois derniers examens étaient de 87, 92 et 73, la note moyenne serait alors de $\frac{87 + 92 + 73}{3} = 84$ . Si vous disposiez d'un grand nombre de données, vous procéderiez de la même manière. Par exemple, pour calculer la valeur moyenne de 50 notes d'examen, additionnez les 50 notes et divisez par 50. Si la somme des 50 notes est égale à 4 050, par exemple, la note moyenne est de $\frac{4050}{50}$ , soit 81.

Dans les applications de la science des données, vous rencontrerez deux types de jeux de données : les données d'échantillon et les données de population. Les données de population (population data) représentent l'ensemble des résultats ou des mesures d'intérêt. Les données d'échantillon (sample data) représentent les résultats ou les mesures recueillis auprès d'un sous-ensemble, ou d'une partie, de la population d'intérêt. Bien entendu, dans de nombreuses applications, recueillir des données auprès d'une population entière n'est ni pratique ni réalisable, et nous nous appuyons donc souvent sur des données d'échantillon.

La notation $\bar{x}$ est utilisée pour désigner la moyenne échantillonnale (sample mean), où la moyenne est calculée à partir des données d'un échantillon. La notation $\sum x$ sert à désigner la somme des valeurs des données, et $n$ indique le nombre de données dans l'échantillon, également appelé la taille de l'échantillon (sample size).

La moyenne échantillonnale peut être calculée à l'aide de la formule suivante :

\bar{x} = \frac{\sum x}{n}

La notation $µ$ est utilisée pour désigner la moyenne de la population (population mean), où la moyenne est calculée à partir des données de l'ensemble de la population, et $N$ indique le nombre de données dans la population, également appelé la taille de la population (population size). La moyenne de la population peut être calculée à l'aide de la formule suivante :

µ = \frac{\sum x}{N}

La moyenne peut également être déterminée à partir de sa distribution de fréquences. Pour chaque valeur distincte présente dans le jeu de données, la distribution de fréquences (frequency distribution) indique le nombre de fois, ou la fréquence (frequency), où cette valeur distincte apparaît dans le jeu de données. Dans ce type de situation, la moyenne peut être calculée en multipliant chaque valeur distincte par sa fréquence, en additionnant ces produits, puis en divisant cette somme par le nombre total de données. Voici la formule correspondante pour la moyenne échantillonnale utilisant la distribution de fréquences :

\bar{x} = \frac{\sum x \cdot f}{n}

Lorsque toutes les valeurs du jeu de données sont uniques, cette formule se simplifie pour donner la formule précédente de la moyenne échantillonnale.

Exemple 3.1

Problème

Au cours d'un essai clinique, un échantillon de 10 patients est sélectionné et la fréquence cardiaque est mesurée en battements par minute :

68, 92, 76, 51, 65, 83, 94, 72, 88, 59

Calculez la fréquence cardiaque moyenne pour cet échantillon.

Solution

Additionnez les 10 valeurs, ce qui donne une somme de 748. Divisez cette somme par le nombre de données, à savoir 10. Le résultat est :

\bar{x} = \frac{\sum x}{n} = \frac{748}{10} = 74.8

Exemple 3.2

Problème

Un professeur d'université relève l'âge de 25 étudiants d'un cours de science des données, comme indiqué ci-dessous :

Âge de l'étudiant	Nombre d'étudiants (Fréquence)
19	3
20	4
21	8
22	6
23	2
27	1
31	1
Total	25

Calculez l'âge moyen pour cet échantillon d'étudiants.

Solution

Remplacez les valeurs du tableau dans la formule suivante :

\bar{x} = \frac{\sum x \cdot f}{n} = \frac{19 \cdot 3 + 20 \cdot 4 + 21 \cdot 8 + 22 \cdot 6 + 23 \cdot 2 + 27 \cdot 1 + 31 \cdot 1}{25} = \frac{541}{25} = 21.64

Moyenne tronquée

Une moyenne tronquée (trimmed mean) permet d'atténuer les effets des valeurs aberrantes, qui sont des valeurs nettement différentes de la plupart des autres valeurs du jeu de données. Dans le jeu de données fourni dans l'Exemple 3.1, une fréquence cardiaque de 35 ou de 120 serait considérée comme une valeur aberrante, car ces fréquences cardiaques sont sensiblement différentes du reste des valeurs de l'Exemple 3.1. Nous verrons qu'il existe une méthode formelle pour déterminer les valeurs aberrantes, et qu'il existe en réalité plusieurs méthodes pour identifier les valeurs aberrantes dans un jeu de données.

La présence de valeurs aberrantes a tendance à fausser de manière disproportionnée la moyenne et à produire un résultat potentiellement trompeur pour la moyenne.

Pour calculer la moyenne tronquée d'un jeu de données, commencez par trier les données par ordre croissant (de la plus petite à la plus grande). Décidez ensuite d'un certain pourcentage de valeurs à supprimer aux extrémités inférieure et supérieure du jeu de données. Cela peut correspondre à l'ampleur des valeurs aberrantes présentes dans le jeu de données ; des pourcentages de moyenne tronquée de 10 % et 20 % sont fréquents. Supprimez ensuite le pourcentage spécifié de valeurs à la fois à l'extrémité inférieure et à l'extrémité supérieure du jeu de données. Calculez enfin la moyenne des valeurs restantes.

À titre d'exemple, pour calculer une moyenne tronquée à 10 %, commencez par trier les données de la plus petite à la plus grande. Supprimez ensuite les 10 % de valeurs inférieures et les 10 % de valeurs supérieures. Calculez ensuite la moyenne du jeu de données résultant. Les éventuelles valeurs aberrantes auront tendance à être éliminées dans le cadre du calcul de la moyenne tronquée, ce qui permettra à cette dernière de fournir une mesure plus représentative du centre des données pour les jeux de données contenant des valeurs aberrantes.

Exemple 3.3

Problème

Un agent immobilier recueille des données sur un échantillon de maisons récemment vendues dans un quartier donné, et les données sont présentées dans le jeu de données suivant :

397900, 452600, 507400, 488300, 623400, 573200, 1689300, 403890, 612300, 599000, 2345800, 499000, 525000, 675000, 385000

Calculez la moyenne du jeu de données.
Calculez une moyenne tronquée à 20 % pour ce jeu de données.

Solution

Pour la moyenne, additionnez les 15 valeurs, ce qui donne une somme de 10 777 090. Divisez cette somme par le nombre de données, qui est de 15. Le résultat est :

$\bar{x} = \frac{\sum x}{n} = \frac{10,777,090}{15} = 718,472.70$
Pour la moyenne tronquée, ordonnez d'abord les données de la plus petite à la plus grande. Le jeu de données trié est :

385000, 397900, 403890, 452600, 488300, 499000, 507400, 525000, 573200, 599000, 612300, 623400, 675000, 1689300, 2345800

Vingt pour cent de 15 valeurs correspond à 3, ce qui indique que 3 valeurs doivent être supprimées à chacune des extrémités inférieure et supérieure du jeu de données. Les 9 valeurs restantes non supprimées sont :

452600, 488300, 499000, 507400, 525000, 573200, 599000, 612300, 623400

Calculez ensuite la moyenne des valeurs restantes. La somme de ces 9 valeurs est de 4 880 200. Divisez cette somme par le nombre de données (9). Le résultat est :

$\bar{x} = \frac{\sum x}{n} = \frac{4,880,200}{9} = 542,244.40$

Remarquez que la moyenne calculée dans la partie (a) est nettement supérieure à la moyenne tronquée calculée dans la partie (b). Cela s'explique par la présence de plusieurs prix de vente de maisons aberrants particulièrement élevés. Une fois ces valeurs aberrantes éliminées par le calcul de la moyenne tronquée, la moyenne tronquée obtenue est bien plus représentative du prix typique d'une maison dans ce quartier que la moyenne simple.

Médiane

La médiane constitue une autre mesure de tendance centrale pour un jeu de données. La médiane (median) est généralement une meilleure mesure de la tendance centrale lorsque le jeu de données comporte des valeurs aberrantes (valeurs extrêmes). Comme la médiane s'intéresse à la valeur centrale du jeu de données ordonné, elle est privilégiée en présence de valeurs aberrantes parce qu'elle n'est pas influencée par la grandeur numérique de ces valeurs aberrantes.

Pour déterminer la médiane d'un jeu de données, ordonnez d'abord les données de la plus petite à la plus grande, puis trouvez la valeur centrale du jeu de données ordonné. Par exemple, pour trouver la valeur médiane de 50 notes d'examen, cherchez la note qui sépare les données en deux parties égales. Les notes de 25 étudiants se situeront en dessous de la médiane, et 25 étudiants auront des notes supérieures à la médiane.

Si le jeu de données compte un nombre impair de données, il existe une valeur unique qui représente la valeur centrale, et c'est la médiane. Si le jeu de données compte un nombre pair de données, pour trouver la médiane, additionnez les deux valeurs centrales et divisez par 2 (cela revient à calculer la moyenne des deux valeurs centrales du jeu de données).

Exemple 3.4

Problème

Le même jeu de données de fréquences cardiaques issu de l'Exemple 3.1 est :

68, 92, 76, 51, 65, 83, 94, 72, 88, 59

Calculez la fréquence cardiaque médiane pour cet échantillon.

Solution

Tout d'abord, ordonnez les 10 valeurs de la plus petite à la plus grande. Divisez cette somme par le nombre de données, qui est de 10. Le résultat est :

51, 59, 65, 68, 72, 76, 83, 88, 92, 94

Puisqu'il y a un nombre pair de données, additionnez les deux valeurs centrales et divisez par 2.
Les deux valeurs centrales sont 72 et 76.

Médiane = \frac{72 + 76}{2} = \frac{148}{2} = 74

Vous pouvez également déterminer rapidement la médiane échantillonnale d'un jeu de données comme suit.

Soit $n$ le nombre de valeurs dans l'échantillon.

Si $n$ est impair, la médiane est la valeur située à la position $\frac{n + 1}{2}$ .
Si $n$ est pair, la médiane est la moyenne des observations situées aux positions $\frac{n}{2}$ et $\frac{n}{2} + 1$ .

Par exemple, supposons qu'un jeu de données compte 25 valeurs. Puisque $n$ est impair, pour déterminer la position de la médiane, calculez $\frac{n + 1}{2}$ , ce qui donne $\frac{25 + 1}{2}$ , soit 13. Cela indique que la médiane se trouve à la 13e position des données.

À titre d'autre exemple, supposons qu'un jeu de données compte 100 valeurs. Puisque $n$ est pair, pour déterminer la position de la médiane, calculez $\frac{n}{2}$ , ce qui donne $\frac{100}{2}$ , soit 50, et calculez également $\frac{n}{2} + 1$ , ce qui donne $50 + 1$ , soit 51. Cela indique que la médiane correspond à la moyenne des 50e et 51e valeurs des données.

Mode

Une autre mesure de centre est le mode. Le mode est la valeur qui apparaît avec la fréquence la plus élevée. S'il n'y a aucune valeur répétée dans un jeu de données, alors il n'y a pas de mode. Si deux valeurs apparaissent avec la même fréquence maximale, il y a alors deux modes, et l'on dit que les données sont bimodales (bimodal). Par exemple, supposons que le cours de clôture hebdomadaire d'une action technologique, en dollars, soit relevé pendant 20 semaines consécutives comme suit :

50, 53, 59, 59, 63, 63, 72, 72, 72, 72, 72, 76, 78, 81, 83, 84, 84, 84, 90, 93

Pour trouver le mode, déterminez la valeur la plus fréquente, qui est 72 et qui apparaît cinq fois. Ainsi, le mode de ce jeu de données est 72.

Le mode peut également s'appliquer à des données non numériques (qualitatives (qualitative)), alors que la moyenne et la médiane ne peuvent s'appliquer qu'à des données numériques (quantitatives (quantitative)). Par exemple, le gérant d'un restaurant pourrait vouloir déterminer le mode des réponses à des enquêtes clients (customer surveys) sur la qualité du service d'un restaurant, comme le montre le Tableau 3.1.

Évaluation du service client	Nombre de répondants
Excellent	267
Très bien	410
Bien	392
Passable	107
Médiocre	18

Tableau 3.1 Résultats de l'enquête client pour l'évaluation du service client

D'après les réponses à l'enquête, le mode est l'évaluation du service client « Très bien », car il s'agit de la valeur présentant la fréquence la plus élevée.

Influence des valeurs aberrantes sur les mesures de tendance centrale

Comme mentionné précédemment, lorsque des valeurs aberrantes sont présentes dans un jeu de données, la moyenne peut ne pas bien représenter le centre du jeu de données, et la médiane fournira une meilleure mesure de centre. La raison en est que la médiane se concentre sur la valeur centrale du jeu de données ordonné. Ainsi, toute valeur aberrante située à l'extrémité inférieure ou à l'extrémité supérieure du jeu de données n'affectera pas la médiane. Remarque : une méthode formelle d'identification des valeurs aberrantes est présentée dans Mesures de position lors de l'étude des mesures de position. L'exemple suivant illustre le fait que la médiane est une meilleure mesure de tendance centrale en présence de valeurs aberrantes potentielles.

Exemple 3.5

Problème

Supposons que dans une petite entreprise de 40 salariés, une personne perçoive un salaire de 3 millions de dollars par an et que les 39 autres personnes gagnent chacune 40 000 $. Quelle est la meilleure mesure de tendance centrale : la moyenne ou la médiane ?

Solution

La moyenne, en dollars, s'obtiendrait mathématiquement comme suit :

\bar{x} = \frac{3,000,000 + 39(40,000)}{40} = 114,000

Cependant, la médiane serait de 40 000 $, car il s'agit de la valeur centrale du jeu de données ordonné. Il y a 39 personnes qui gagnent 40 000 $ et une personne qui gagne 3 000 000 $.

Remarquez que la moyenne n'est pas représentative de la valeur typique du jeu de données, car 114 000 $ ne reflète pas le salaire moyen de la plupart des employés (qui gagnent 40 000 $). Dans ce cas, la médiane constitue une bien meilleure mesure de la « moyenne » que la moyenne elle-même, car 39 des valeurs sont de 40 000 $ et une seule est de 3 000 000 $. La valeur de 3 000 000 $ est une valeur aberrante. Le résultat médian de 40 000 $ nous donne une bien meilleure idée du centre du jeu de données.

Utiliser Python pour les mesures de tendance centrale

Nous avons appris dans Que sont les données et la science des données ? comment la méthode DataFrame.describe() est utilisée pour résumer des données. Rappelez-vous que la méthode describe() est définie pour un objet de type DataFrame et doit donc être appelée sur une variable de type DataFrame (par exemple, pour un DataFrame d, utilisez d.describe()).

La Figure 3.2 montre la sortie de DataFrame.describe() sur le jeu de données « Movie Profit » que nous avons utilisé dans Que sont les données et la science des données ?, movie_profit.csv. La moyenne et le quantile à 50 % indiquent la moyenne et la médiane de chaque colonne. Par exemple, les recettes brutes mondiales moyennes sont de 410,14 millions de dollars et les recettes médianes sont de 309,35 millions de dollars. Remarquez que la moyenne et/ou la médiane de certaines colonnes ne sont pas aussi significatives que pour d'autres. La première colonne — Unnamed: 0 — a simplement servi d'identifiant pour chaque élément du jeu de données, de sorte que la moyenne de cette colonne n'est pas particulièrement utile. DataFrame.describe() calcule tout de même ces valeurs parce qu'elle en a la possibilité (et elle ne se soucie pas de savoir si une colonne a du sens pour ce calcul ou non).

Tableau de données résumant les statistiques relatives à 966 éléments du jeu de données « movie profit », avec des colonnes pour « unnamed: 0 », « rating », « duration », « US gross » et « worldwide gross ». Les lignes de la moyenne et du 50e centile sont mises en évidence. La note moyenne est d'environ 6,8, la durée moyenne est d'environ 117,5, les recettes brutes moyennes aux États-Unis sont d'environ 156,2 millions de dollars et les recettes brutes mondiales moyennes sont d'environ 410,1 millions de dollars. Le 50e centile (médiane) de la note est d'environ 6,8, la durée médiane est d'environ 116, les recettes brutes médianes aux États-Unis sont d'environ 129,2 millions de dollars et les recettes brutes mondiales médianes sont d'environ 309,3 millions de dollars.

Figure 3.2 La sortie de

DataFrame.describe()

avec le jeu de données Movie Profit

Pour aller plus loin

Travailler avec Python

Consultez le site web de Python pour plus de détails sur l'utilisation, l'installation et la programmation avec Python. Consultez cette documentation complémentaire pour des informations plus précises sur le module statistics.