Interpréter un coefficient de corrélation

Une fois la valeur de $r$ calculée, cette mesure fournit deux indications sur la corrélation :

1. la force de la corrélation d'après la valeur de $r$
2. la direction de la corrélation d'après le signe de $r$

La valeur de $r$ nous fournit les informations suivantes :

• La valeur de $r$ est toujours comprise entre $-1$ et $+1$ : $-1\le r\le 1$.
• L'amplitude de la corrélation $r$ indique la force de la relation linéaire entre les deux variables. Des valeurs de $r$ proches de $-1$ ou de $+1$ indiquent une relation linéaire plus forte.
• Si $r=0$, il n'y a aucune relation linéaire entre les deux variables (aucune corrélation linéaire).
• Si $r=1$, il y a une corrélation positive parfaite. Si $r=-1$, il y a une corrélation négative parfaite. Dans ces deux cas, tous les points de données d'origine sont situés sur une ligne droite.

Le signe de $r$ nous fournit les informations suivantes :

• Une valeur positive de $r$ signifie que lorsque $x$ augmente, $y$ a tendance à augmenter, et lorsque $x$ diminue, $y$ a tendance à diminuer (corrélation positive).
• Une valeur négative de $r$ signifie que lorsque $x$ augmente, $y$ a tendance à diminuer, et lorsque $x$ diminue, $y$ a tendance à augmenter (corrélation négative).

D'après les résultats statistiques obtenus dans la sortie Python, le coefficient de corrélation $r$ est de 0,923, ce qui indique que la relation entre l'action Nike et la valeur du S&P 500 sur cette période représente une corrélation forte et positive.

Tester la significativité d'un coefficient de corrélation

Le coefficient de corrélation, $r$, renseigne sur la force et la direction de la relation linéaire entre $x$ et $y$. Les données d'échantillon servent à calculer $r$, le coefficient de corrélation de l'échantillon. Si nous disposions de données pour l'ensemble de la population (c'est-à-dire l'ensemble des mesures d'intérêt), nous pourrions déterminer le coefficient de corrélation de la population, qui est désigné par la lettre grecque $\rho$ (prononcée « rhô »). Cependant, ne disposant que de données d'échantillon, nous ne pouvons pas calculer le coefficient de corrélation de la population. Le coefficient de corrélation échantillonnal, $r$, constitue notre estimation du coefficient de corrélation inconnu de la population.

• $\rho =\text{population correlation coefficient (unknown)}$
• $r=\text{sample correlation coefficient (known; calculated from sample data)}$

Une étape essentielle de l'analyse de corrélation consiste à déterminer si la corrélation est significative. Il s'agit de se demander si la corrélation est suffisamment forte pour permettre des prédictions (predictions) pertinentes de $y$ fondées sur les valeurs de $x$. Une méthode pour tester la significativité de la corrélation consiste à utiliser un test d'hypothèses. Le test d'hypothèses permet de déterminer si la valeur du coefficient de corrélation de la population $\rho$ est proche de zéro ou significativement différente de zéro. Cette décision repose sur le coefficient de corrélation échantillonnal $r$ et la taille de l'échantillon n.

Si le test conclut que le coefficient de corrélation est significativement différent de zéro, nous disons que le coefficient de corrélation est significatif.

• Conclusion : Les données fournissent des preuves suffisantes pour conclure qu'il existe une relation linéaire significative entre les deux variables, car le coefficient de corrélation est significativement différent de zéro.
• Ce que signifie la conclusion : Il existe une relation linéaire significative entre les deux variables. Si le test conclut que le coefficient de corrélation n'est pas significativement différent de zéro (il est proche de zéro), nous disons que le coefficient de corrélation n'est pas significatif.

Un test d'hypothèses peut être effectué pour vérifier si la corrélation est significative. Un test d'hypothèses est une méthode statistique qui s'appuie sur des données d'échantillon pour tester une affirmation concernant la valeur d'un paramètre de population. Dans ce cas, le test d'hypothèses sera utilisé pour tester l'affirmation selon laquelle le coefficient de corrélation de la population $\rho$ est égal à zéro.

Utilisez ces hypothèses lors de la réalisation du test d'hypothèses :

• Hypothèse nulle : $H_0:\rho =0$
• Hypothèse alternative : $H_a:\rho \ne 0$

Les hypothèses peuvent être formulées en langage naturel comme suit :

• Hypothèse nulle $H_0$ : Le coefficient de corrélation de la population n'est pas significativement différent de zéro. Il n'y a pas de relation linéaire significative (corrélation) entre $x$ et $y$ dans la population.
• Hypothèse alternative $H_a$ : Le coefficient de corrélation de la population est significativement différent de zéro. Il y a une relation linéaire significative (corrélation) entre $x$ et $y$ dans la population.

Une règle empirique rapide pour évaluer les corrélations repose sur la relation entre la taille de l'échantillon et la corrélation. Si $|r|\ge \frac{2}{\sqrt{n}}$, cela indique que la corrélation entre les deux variables démontre l'existence d'une relation linéaire statistiquement significative au niveau de signification d'environ 0,05. Comme la formule l'indique, il existe une relation inverse entre la taille de l'échantillon et la corrélation requise pour obtenir une relation linéaire significative. Avec seulement 10 observations, la corrélation requise pour la significativité est de 0,6325 ; pour 30 observations, elle tombe à 0,3651 ; et pour 100 observations, le niveau requis n'est plus que de 0,2000.

Méthode des moindres carrés et résidus

Pour construire un modèle linéaire qui s'ajuste au mieux aux points $(x,y)$ d'un nuage de points, les chercheurs font généralement appel à la méthode des moindres carrés (least squares method), basée sur un algorithme mathématique conçu pour minimiser la somme des carrés des distances entre les points de données $(x,y)$ et la droite ajustée.

Rappelons qu'en algèbre, l'équation d'une droite s'écrit sous la forme :

où $m$ est la pente de la droite et $b$ est l'ordonnée à l'origine de la droite.

La pente mesure l'inclinaison de la droite, et l'ordonnée à l'origine (y-intercept) est le point sur l'axe des $y$ où le graphique croise, ou intercepte, l'axe des $y$.

Dans l'analyse de régression linéaire, l'équation de la droite est formulée de manière légèrement différente selon le modèle suivant :

Dans cette écriture, $b$ est la pente de la droite et $a$ est l'ordonnée à l'origine. La notation $\hat{y}$ se lit « $y$ chapeau » et sert à indiquer une valeur prédite de la variable dépendante $y$ pour une valeur donnée de la variable indépendante $x$.

Si une droite monte de gauche à droite, la pente est positive (voir Figure 4.6 ; si la droite descend de gauche à droite, la pente est négative).

Figure 4.6 Trois exemples de représentations de $\hat{y}=a+bx$. (a) Si $b>0$, la droite monte vers la droite. (b) Si $b=0$, la droite est horizontale. (c) Si $b<0$, la droite descend vers la droite.

En algèbre, pour déterminer l'équation d'une droite à l'aide de $y=mx+b$, deux points $(x,y)$ étaient nécessaires. En analyse de régression, en revanche, l'ensemble des points $(x,y)$ du jeu de données est utilisé pour construire le modèle de régression linéaire.

La première étape de toute analyse de régression consiste à créer le nuage de points. Il convient ensuite de calculer le coefficient de corrélation $r$ et de vérifier la significativité de cette valeur. Si nous estimons que les points présentent une relation linéaire, nous pouvons tracer une droite sur le nuage de points. Cette droite est déterminée au moyen d'un processus appelé régression linéaire. Cependant, nous ne calculons une droite de régression que si l'une des variables aide à expliquer ou à prédire l'autre. Si $x$ est la variable indépendante et $y$ la variable dépendante, nous pouvons alors utiliser une droite de régression pour prédire $y$ pour une valeur donnée de $x$.

À titre d'exemple d'équation de régression, supposons qu'il existe une corrélation entre les dépenses publicitaires mensuelles et les revenus (revenue) mensuels d'une entreprise du Fortune 500. Après avoir recueilli des données $(x,y)$ sur une certaine période, l'entreprise détermine que l'équation de régression est de la forme suivante :

où $x$ représente les dépenses mensuelles en publicité (en milliers de dollars), $\hat{y}$ représente les revenus mensuels de l'entreprise (en milliers de dollars), la pente est de 61,8 et l'ordonnée à l'origine est de 9 376,7.

Un nuage de points des données $(x,y)$ est présenté à la Figure 4.7.

Figure 4.7 Nuage de points des revenus par rapport aux dépenses publicitaires pour une entreprise du Fortune 500 (en milliers de dollars)

L'entreprise souhaite estimer le revenu mensuel dans le cas où ses dirigeants décideraient de consacrer 150 000 $ à la publicité le mois prochain. Pour obtenir cette estimation du revenu mensuel, posons $x=150$ dans l'équation de régression et calculons la valeur correspondante de $\hat{y}$ :

Cette valeur prédite de $y$ indique que le revenu prévu s'élèverait à 18 646 700 $, pour une dépense publicitaire de 150 000 $.

Remarquons que dans les données passées, il a pu exister un mois où l'entreprise a effectivement dépensé 150 000 $ en publicité, ce qui permet de disposer d'un résultat réel pour le revenu mensuel. Cette valeur réelle, ou observée, peut être comparée à la prédiction issue du modèle de régression linéaire afin de calculer ce que l'on appelle un résidu.

Un résidu (residual) est la différence entre une valeur de y observée et la valeur de y prédite obtenue à partir de l'équation de régression linéaire. À titre d'exemple, supposons qu'au cours d'un mois antérieur, le revenu mensuel réel pour une dépense publicitaire de 150 000 $ ait été de 19 200 000 $, ce qui donne $y=\mathrm{19,200}$. Le résidu pour ce point de données se calcule de la façon suivante :

Notez que les résidus peuvent être positifs, négatifs ou nuls. Si la valeur de y observée concorde exactement avec la valeur de y prédite, le résidu sera nul. Si la valeur de y observée est supérieure à la valeur de y prédite, le résidu sera positif. Si la valeur de y observée est inférieure à la valeur de y prédite, le résidu sera négatif.

Lors de la recherche de la droite de régression linéaire la mieux ajustée aux points du nuage de points, l'analyse mathématique produit une équation linéaire qui minimise la somme des carrés des résidus. Cette analyse porte le nom de méthode des moindres carrés (method of least squares). Par conséquent, cette démarche produit une équation linéaire qui correspond au « meilleur ajustement » aux points du nuage, au sens où la droite minimise les écarts entre les valeurs prédites et les valeurs observées de $y$ ; cette relation est généralement désignée sous le nom d'équation linéaire du meilleur ajustement (best-fit linear equation).

L'objectif de l'analyse de régression est de déterminer les coefficients $a$ et $b$ dans l'équation de régression suivante :

Une fois les données $(x,y)$ collectées, la pente ($b$) et l'ordonnée à l'origine ($a$) peuvent être calculées à l'aide des formules suivantes :

où $n$ fait référence au nombre de paires de données et $\Sigma x$ indique la somme des valeurs de x.

Remarquez que la formule de l'ordonnée à l'origine fait intervenir la pente calculée (b) ; il convient donc de calculer la pente en premier, puis l'ordonnée à l'origine en second.

Pour formuler des prédictions concernant $y$, il est toujours important de tracer d'abord un nuage de points. Si ce dernier indique qu'il existe une relation linéaire entre les variables, il est alors pertinent d'utiliser une droite du meilleur ajustement pour prédire $y$, à condition que $x$ se situe dans le domaine des valeurs de x des données d'échantillon, mais pas nécessairement pour les valeurs de x situées hors de ce domaine.

Hypothèses de la régression linéaire

Tester la significativité du coefficient de corrélation exige que certaines hypothèses relatives aux données soient vérifiées. Le postulat fondamental de ce test est que les données constituent un échantillon de points observés issus d'une population plus vaste. Nous n'avons pas examiné l'ensemble de la population car cela n'est ni possible ni envisageable. Nous analysons l'échantillon afin de déterminer si la relation linéaire observée entre les données $x$ et $y$ de l'échantillon apporte des preuves suffisantes pour conclure à l'existence réelle d'une relation linéaire entre les données $x$ et $y$ dans la population.

L'équation de la droite de régression calculée à partir des données d'échantillon fournit la droite du meilleur ajustement pour notre échantillon particulier. Nous voulons utiliser cette droite du meilleur ajustement pour l'échantillon comme estimation de la droite du meilleur ajustement pour la population (Figure 4.8). L'examen du nuage de points et le test de significativité du coefficient de corrélation nous aident à déterminer s'il est opportun de procéder ainsi.

Voici les hypothèses qui sous-tendent le test de significativité :

1. Il existe une relation linéaire dans la population qui modélise la valeur moyenne de $y$ pour différentes valeurs de $x$. En d'autres termes, la valeur attendue de $y$ pour chaque valeur particulière se situe sur une ligne droite dans la population. (Nous ne connaissons pas l'équation de la droite pour la population. Notre droite de régression issue de l'échantillon constitue notre meilleure estimation de cette droite dans la population.)
2. Les valeurs de y pour toute valeur particulière de x suivent une distribution normale autour de la droite. Cela implique qu'il y a plus de valeurs de y dispersées près de la droite que de valeurs éloignées. L'hypothèse (1) implique que ces distributions normales sont centrées sur la droite : les moyennes de ces distributions normales des valeurs de y se situent sur la droite.
3. Les écarts types des valeurs de y de la population autour de la droite sont égaux pour chaque valeur de $x$. En d'autres termes, chacune de ces distributions normales des valeurs de y a la même forme et la même dispersion autour de la droite.
4. Les erreurs résiduelles sont mutuellement indépendantes (absence de structure particulière).
5. Les données sont issues d'un échantillon aléatoire ou d'une expérience randomisée bien conçus.

Figure 4.8 Droite du meilleur ajustement. Notez que les valeurs de y pour chaque valeur de x sont normalement distribuées autour de la droite avec le même écart type. Pour chaque valeur de x, la moyenne des valeurs de y se situe sur la droite de régression. Davantage de valeurs de y se trouvent près de la droite qu'éloignées de celle-ci

Développer un modèle de régression linéaire

Dans l'exemple qui suit, Python sera employé pour réaliser l'analyse suivante à partir d'un ensemble de données $(x,y)$ donné.

• Créer un nuage de points.
• Calculer le coefficient de corrélation.
• Construire l'équation linéaire du meilleur ajustement.
• Prédire les valeurs de la variable dépendante pour des valeurs données de la variable indépendante.

Il existe plusieurs moyens d'accomplir ces tâches avec Python, mais nous ferons appel à diverses fonctions fournies par la bibliothèque scipy, notamment :

Pearsonr() pour le coefficient de corrélation

linregress() pour le modèle de régression linéaire

plt.scatter() pour la génération du nuage de points

Exemple 4.24

Problème

Un responsable marketing s'intéresse à l'étude de la corrélation entre les montants investis dans la publicité et le chiffre d'affaires au sein d'une entreprise donnée. Douze mois de données ont été recueillis, comme le montre le Tableau 4.16. (Les montants en dollars sont exprimés en milliers de dollars.)

Utilisez Python pour réaliser l'analyse suivante :

1. Générer un nuage de points.
2. Calculer le coefficient de corrélation $r$.
3. Déterminer si la corrélation est significative (utiliser un seuil de signification de 0,05).
4. Construire un modèle de régression linéaire.
5. Utiliser le modèle pour prédire les revenus d'un mois au cours duquel les dépenses publicitaires s'élèvent à 100 $.

Mois	Dépenses publicitaires	Revenus
Janv.	49	12210
Févr.	145	17590
Mars	57	13215
Avr.	153	19200
Mai	92	14600
Juin	83	14100
Juil.	117	17100
Août	142	18400
Sept.	69	14100
Oct.	106	15500
Nov.	109	16300
Déc.	121	17020

Tableau 4.16 Revenus par rapport aux dépenses publicitaires pour une entreprise (en milliers de dollars)

Solution

1. La première étape de l'analyse consiste à générer un nuage de points. (Rappelons que les nuages de points ont également été abordés dans Nuages de points et corrélation.)
   La fonction Python plt.scatter() peut servir à générer le nuage de points pour les données $(x,y)$. Notez que nous considérons la publicité comme la variable indépendante (données $x$) et les revenus comme la variable dépendante (données $y$), puisque les revenus dépendent de l'effort publicitaire.

Voici le code Python permettant de générer le nuage de points :

Code Python

        # import the matplotlib library
        import matplotlib.pyplot as plt
        
        # define the x-data, which is amount spent on advertising
        x = [49, 145, 57, 153, 92, 83, 117, 142, 69, 106, 109, 121]
        
        # define the y-data, which is revenue
        y = [12210, 17590, 13215, 19200, 14600, 14100, 17100, 18400, 14100, 15500, 16300, 17020]
        
        # use the scatter function to generate a time series graph
        plt.scatter(x, y)
        
        # Add a title using the title function
        plt.title("Revenue versus Advertising for a Company")
        
        # Add labels to the x and y axes by using xlabel and ylabel functions
        plt.xlabel("Advertising $000")
        plt.ylabel ("Revenue $000")
        

Le résultat obtenu se présente ainsi :

2. La fonction Python pearsonr() peut être employée pour déterminer le coefficient de corrélation, $r$.

Voici le code Python permettant de calculer le coefficient de corrélation :

Code Python

        # import libraries
        import numpy as np
        from scipy.stats  import pearsonr
        
        # define the x-data, which is amount spent on advertising
        x = [49, 145, 57, 153, 92, 83, 117, 142, 69, 106, 109, 121]
        
        # define the y-data, which is revenue
        y = [12210, 17590, 13215, 19200, 14600, 14100, 17100, 18400, 14100, 15500, 16300, 17020]
        
        #pearson r returns both value of r and corresponding p-value
        r, p = pearsonr(x, y)
        
        #print value of r, rounded to 3 decimal places
        
        print("Correlation coefficient: ", round(r, 3))
        

 

Le résultat obtenu se présente ainsi :

Correlation coefficient: 0.981
Cette valeur de $r=0.981$ indique une forte corrélation positive entre les dépenses publicitaires et les revenus.

3. En utilisant un niveau de signification de 0,05, si $|r|\ge \frac{2}{\sqrt{n}}$, cela indique que la corrélation entre les deux variables met en évidence une relation linéaire statistiquement significative au niveau de signification d'environ 0,05. Dans cet exemple, nous vérifions si $\left|0.981\right|$ est supérieur ou égal à $\frac{2}{\sqrt{n}}$ où $n=12$. Comme $\frac{2}{\sqrt{12}}$ est égal à environ 0,577, cela montre que la valeur de r de 0,981 est supérieure à $\frac{2}{\sqrt{n}}$, et donc que la corrélation est considérée comme significative.
4. Le modèle de régression linéaire sera de la forme :
   
   $$\hat{y}=a+bx$$
   Pour déterminer la pente et l'ordonnée à l'origine du modèle de régression, on peut utiliser la fonction Python linregress().
   Cette fonction prend les données $x$ et $y$ comme arguments et fournit la pente et l'ordonnée à l'origine, ainsi que d'autres résultats relatifs à la régression.

Voici le code Python permettant d'obtenir la pente et l'ordonnée à l'origine de la droite du meilleur ajustement :

Code Python

        # import libraries
        import numpy as np
        from scipy.stats  import linregress
        
        # define the x-data, which is amount spent on advertising
        x = [49, 145, 57, 153, 92, 83, 117, 142, 69, 106, 109, 121]
        
        # define the y-data, which is revenue
        y = [12210, 17590, 13215, 19200, 14600, 14100, 17100, 18400, 14100, 15500, 16300, 17020]
        
        #pearson r returns both value of r and corresponding p-value
        slope, intercept, r_value, p_value, std_err  = linregress(x, y)
        
        print ("slope  =", slope)
        print("intercept = ", intercept)
        

 

Le résultat obtenu se présente ainsi :

slope = 61.79775818816664
intercept = 9376.698881009072

À partir de ces résultats obtenus en Python, l'équation de régression peut s'écrire :

$$\begin{array}{rcl}\hat{y}& =& a+bx\\ \hat{y}& =& 9376.7+61.8x\end{array}$$

où $x$ représente les montants alloués à la publicité (en milliers de dollars) et $y$ représente les montants des revenus (en milliers de dollars).

Il est également utile de tracer cette droite du meilleur ajustement en la superposant au nuage de points pour illustrer la forte corrélation entre les dépenses publicitaires et les revenus, comme suit (voir Figure 4.9) :

Figure 4.9 Droite du meilleur ajustement superposée au nuage de points

5. L'équation de régression est : $\hat{y}=\mathrm{9,376.7}+61.8x$.
   Le montant donné des dépenses publicitaires de 100 $ correspond à une valeur de x donnée ; remplacez donc « $x$ » par 100 dans cette équation de régression pour obtenir le revenu prévu :
   
   $$\begin{array}{rcl}\hat{y}& =& 9376.7+61.8x\\ \hat{y}& =& 9376.7+61.8\left(100\right)\\ \hat{y}& =& 15556.7\end{array}$$
   Comme les dépenses publicitaires et les revenus sont tous deux exprimés en milliers de dollars, la conclusion est que si les dépenses publicitaires sont de 100 000 $, le revenu prévu pour l'entreprise sera de 15 556 700 $.

Interpréter et appliquer la pente et l'ordonnée à l'origine

La pente de la droite, $b$, décrit la manière dont les variations des variables sont liées entre elles. Il importe d'interpréter la pente de la droite dans le contexte de la situation représentée par les données. Vous devez être capable d'énoncer en une phrase simple la signification de la pente.