Mesures de variation - Principes de la science des données

3.2 Mesures de variation

Objectifs d'apprentissage

À la fin de cette section, vous devriez être en mesure de :

3.2.1 Définir et calculer l'étendue, la variance et l'écart type pour un jeu de données.
3.2.2 Utiliser Python pour calculer les mesures de variation d'un jeu de données.

Fournir une mesure de la dispersion, ou variation, au sein d'un jeu de données est essentiel pour en présenter un résumé complet. Deux jeux de données peuvent avoir la même moyenne tout en présentant des dispersions très différentes ; une mesure de dispersion pour un jeu de données est donc très importante. Alors que les mesures de tendance centrale (comme la moyenne, la médiane et le mode) décrivent le centre ou la valeur moyenne d'une distribution, les mesures de dispersion indiquent à quel point les points de données individuels s'écartent de cette valeur centrale.

Les deux jeux de données suivants représentent les notes d'examen d'un groupe de trois étudiants dans un cours de biologie et dans un cours de statistiques.

Jeu de données A : notes d'examen des étudiants dans un cours de biologie : 40, 70, 100
Jeu de données B : notes d'examen des étudiants dans un cours de statistiques : 69, 70, 71

Remarquez que la note moyenne pour le jeu de données A et le jeu de données B est de 70.

Cependant, ces jeux de données sont sensiblement différents l'un de l'autre :

Le jeu de données A présente une plus grande variabilité, où un étudiant a obtenu 30 points en dessous de la moyenne et un autre étudiant 30 points au-dessus de la moyenne.
Le jeu de données B présente une plus faible variabilité, où les notes d'examen sont beaucoup plus étroitement regroupées autour de la moyenne de 70.

Cet exemple illustre que la seule publication de la moyenne d'un jeu de données est souvent insuffisante pour décrire fidèlement les caractéristiques de ce jeu de données. À la place, les scientifiques des données y adjoignent généralement une mesure de variation.

Les trois principales mesures de variabilité sont l'étendue, la variance et l'écart type, et celles-ci sont décrites ci-après.

Étendue

L'étendue (range) est une mesure de dispersion d'un jeu de données qui se calcule en soustrayant le minimum du maximum du jeu de données :

Étendue = Max - Min

L'étendue est un calcul simple mais elle n'utilise que deux des valeurs d'un jeu de données. L'étendue peut également être influencée par les valeurs aberrantes.

Exemple 3.6

Problème

Calculez l'étendue pour le jeu de données A et le jeu de données B :

Jeu de données A : notes d'examen des étudiants dans un cours de biologie : 40, 70, 100
Jeu de données B : notes d'examen des étudiants dans un cours de statistiques : 69, 70, 71

Solution

Pour le jeu de données A, la valeur maximale est 100 et la valeur minimale est 40.
L'étendue se calcule ensuite comme suit :

\begin{array}{rcl} Étendue & = & Max - Min \\ Étendue & = & 100 - 40 \\ Étendue & = & 60 \end{array}

Pour le jeu de données B, la valeur maximale est 71 et la valeur minimale est 69.
L'étendue se calcule ensuite comme suit :

\begin{array}{rcl} Étendue & = & Max - Min \\ Étendue & = & 71 - 69 \\ Étendue & = & 2 \end{array}

L'étendue indique clairement qu'il y a beaucoup moins de dispersion dans le jeu de données B par rapport au jeu de données A.

Un inconvénient de l'utilisation de l'étendue est qu'elle ne prend pas en compte chaque valeur de données. L'étendue n'utilise que deux valeurs du jeu de données : le minimum (min) et le maximum (max). De plus, l'étendue est influencée par les valeurs aberrantes, car une valeur aberrante peut apparaître comme une valeur minimale ou maximale et ainsi fausser les résultats. Pour ces raisons, nous utilisons généralement d'autres mesures de variation, telles que la variance ou l'écart type.

Variance

La variance fournit une mesure de la dispersion des valeurs de données en utilisant les carrés des écarts par rapport à la moyenne. Plus les valeurs individuelles des données diffèrent de la moyenne, plus la variance est grande.

Un conseiller financier pourrait utiliser la variance pour déterminer la volatilité d'un investissement et ainsi aider à orienter les décisions financières. Par exemple, un investisseur plus prudent pourrait opter pour des investissements à faible volatilité.

La formule utilisée pour calculer la variance dépend également du fait que les données sont recueillies à partir d'un échantillon ou d'une population. La notation $s^{2}$ est utilisée pour représenter la variance échantillonnale (sample variance), et la notation $σ^{2}$ est utilisée pour représenter la variance de la population (population variance).

Formule de la variance échantillonnale :

s^{2} = \frac{\sum (x - \bar{x})^{2}}{n - 1}

Formule de la variance de la population :

σ^{2} = \frac{\sum (x - µ)^{2}}{N}

Dans ces formules :
$x$ représente les valeurs individuelles des données
$\bar{x}$ représente la moyenne échantillonnale
$n$ représente la taille de l'échantillon
$µ$ représente la moyenne de la population
$N$ représente la taille de la population

Autre formule pour la variance

Une autre formule pour la variance est disponible. Elle est parfois utilisée pour des calculs plus efficaces :

σ^{2} = \frac{\sum x^{2}}{N} - µ^{2}

Dans les formules de la variance échantillonnale et de la variance de la population, notez que le dénominateur de la variance échantillonnale est $n - 1$ , alors que le dénominateur de la variance de la population est $N$ . L'utilisation de $n - 1$ au dénominateur de la variance échantillonnale permet de fournir la meilleure estimation de la variance de la population, dans le sens où si des échantillons répétés de taille $n$ sont prélevés et que la moyenne de l'échantillon est calculée à chaque fois, la moyenne de ces moyennes échantillonnales tendra vers la moyenne de la population à mesure que le nombre d'échantillons répétés augmente.

Il est important de noter que dans de nombreuses applications de la science des données, les données de la population ne sont pas disponibles, et nous calculons donc généralement la variance échantillonnale. Par exemple, si un chercheur voulait estimer le pourcentage de fumeurs parmi tous les adultes aux États-Unis, il serait peu pratique de recueillir des données auprès de chaque adulte aux États-Unis.

Remarquez que la variance échantillonnale est une somme des carrés (sum of squares). Ses unités de mesure sont les carrés des unités de mesure des données d'origine. Comme ces unités au carré sont différentes des unités des données d'origine, cela peut prêter à confusion. En revanche, l'écart type est mesuré dans les mêmes unités que le jeu de données d'origine, et l'écart type est donc plus couramment utilisé pour mesurer la dispersion d'un jeu de données.

Écart type

L'écart type (standard deviation) d'un jeu de données fournit une mesure numérique de la quantité globale de variation dans un jeu de données exprimée dans les mêmes unités que les données ; il peut être utilisé pour déterminer si une valeur de données particulière est proche ou éloignée de la moyenne, par rapport à la distance typique par rapport à la moyenne.

L'écart type est toujours positif ou nul. Il est faible lorsque les valeurs des données sont toutes concentrées près de la moyenne, présentant peu de variation ou de dispersion. Il est plus grand lorsque les valeurs des données sont plus dispersées par rapport à la moyenne, présentant davantage de variation. Un écart type plus petit implique une plus faible variabilité dans un jeu de données, et un écart type plus grand implique une plus grande variabilité dans un jeu de données.

Supposons que nous étudiions la variabilité de deux entreprises (A et B) en ce qui concerne les salaires des employés. Le salaire moyen pour les deux entreprises est de 60 000 $. Pour l'entreprise A, l'écart type des salaires est de 8 000 $, tandis que l'écart type des salaires pour l'entreprise B est de 19 000 $. Comme l'entreprise B présente un écart type plus élevé, nous savons qu'il y a plus de variation dans les salaires des employés de l'entreprise B que dans ceux de l'entreprise A.

Il existe deux formules différentes pour calculer l'écart type. La formule à utiliser dépend du fait que les données représentent un échantillon ou une population. La notation $s$ est utilisée pour représenter l'écart type échantillonnal, et la notation $σ$ est utilisée pour représenter l'écart type de la population. Dans les formules présentées, $\bar{x}$ est la moyenne échantillonnale, $µ$ est la moyenne de la population, $n$ est la taille de l'échantillon et $N$ est la taille de la population.

Formule de l'écart type échantillonnal :

s = \sqrt{\frac{\sum (x - \bar{x})^{2}}{n - 1}}

Formule de l'écart type de la population :

σ = \sqrt{\frac{\sum (x - µ)^{2}}{N}}

Remarquez que l'écart type échantillonnal est calculé comme la racine carrée de la variance. Cela signifie qu'une fois la variance échantillonnale calculée, l'écart type échantillonnal peut ensuite être facilement calculé comme la racine carrée de la variance échantillonnale, comme dans l'Exemple 3.7.

Exemple 3.7

Problème

Un biologiste calcule que la variance échantillonnale pour la quantité de croissance d'un échantillon de plantes est de 8,7 cm². Calculez l'écart type échantillonnal.

Solution

L'écart type échantillonnal ( $s$ ) est calculé comme la racine carrée de la variance.

s = \sqrt{s^{2}} = \sqrt{8.7} = 2.9 cm

Exemple 3.8

Problème

Supposons que la variance échantillonnale ( $s^{2}$ ) d'un jeu de données soit calculée comme étant égale à 42,2. Sur cette base, calculez l'écart type échantillonnal.

Solution

L'écart type échantillonnal ( $s$ ) est calculé comme la racine carrée de la variance.

s = \sqrt{s^{2}} = \sqrt{42.2} = 6.5 ans

Ce résultat indique que l'écart type est d'environ 6,5 ans.

Remarquez que la variance échantillonnale est le carré de l'écart type échantillonnal, donc si l'écart type échantillonnal est connu, la variance échantillonnale peut facilement être calculée.

Utilisation de la technologie pour calculer les mesures de variabilité

En raison de la complexité du calcul de la variance et de l'écart type, la technologie est généralement utilisée pour calculer ces mesures de variabilité. Par exemple, reportez-vous aux exemples présentés dans Coefficient de variation sur l'utilisation de Python pour les mesures de variation.

Coefficient de variation

Un scientifique des données pourrait être intéressé par la comparaison de la variation avec différentes unités de mesure ou différentes moyennes, et dans ces scénarios, le coefficient de variation (CV) (coefficient of variation (CV)) peut être utilisé. Le coefficient de variation mesure la variation d'un jeu de données en calculant l'écart type en pourcentage de la moyenne. Remarque : le coefficient de variation est généralement exprimé sous forme de pourcentage.

\begin{array}{rcl} CV & = & \frac{σ}{μ} \times 100 % \\ CV de l'échantillon & = & \frac{s}{\bar{x}} \times 100 % \end{array}

Exemple 3.9

Problème

Comparez la variabilité relative pour l'entreprise A par rapport à l'entreprise B en utilisant le coefficient de variation, d'après les données d'échantillon suivantes :

Entreprise A : $Moyenne échantillonnale = $ 68,000, Écart type échantillonnal = $ 9,200$

Entreprise B : $Moyenne échantillonnale = $ 71,000, Écart type échantillonnal = $ 6,400$

Solution

Calculez le coefficient de variation pour chaque entreprise :

\begin{array}{rcl} CV pour l'entreprise A = \frac{s}{\bar{x}} \times 100 % = \frac{9,200}{68,000} \times 100 % = 13.5 % \\ CV pour l'entreprise B = \frac{s}{\bar{x}} \times 100 % = \frac{6,400}{71,000} \times 100 % = 9.0 % \end{array}

L'entreprise A présente une plus grande variabilité par rapport à la moyenne que l'entreprise B.

Utiliser Python pour les mesures de variation

DataFrame.describe() calcule également l'écart type sur chaque colonne d'un jeu de données. La ligne std indique l'écart type de chaque colonne (voir la Figure 3.3).

Un tableau de données résumant les statistiques portant sur 966 éléments du jeu de données « movie profit », avec des colonnes pour « unnamed: 0 », « rating », « duration », « US gross » et « worldwide gross ». La ligne de l'écart type est mise en évidence. L'écart type est d'environ 0,89 pour les évaluations et d'environ 21,6 pour les durées. L'écart type des recettes brutes aux États-Unis est d'environ 110,6 millions de dollars et pour les recettes brutes mondiales d'environ 294,76 millions de dollars.

Figure 3.3 La sortie de

DataFrame.describe()

avec le jeu de données Movie Profit