4.1 Inférence statistique et intervalles de confiance
Objectifs d'apprentissage
À la fin de cette section, vous devriez être capable de :
- 4.1.1 Estimer des paramètres, créer des intervalles de confiance et calculer les exigences de taille d'échantillon.
- 4.1.2 Appliquer des méthodes de rééchantillonnage bootstrap pour l'estimation de paramètres.
- 4.1.3 Utiliser Python pour calculer des intervalles de confiance et réaliser des tests d'hypothèses.
Les scientifiques des données qui souhaitent déduire la valeur d'une vérité ou d'un paramètre d'une population, comme une moyenne de la population (population mean) ou une proportion de la population (population proportion), se tournent vers la statistique inférentielle. Un scientifique des données s'intéresse souvent à la formulation de généralisations sur une population à partir des caractéristiques obtenues à partir d'un échantillon ; la statistique inférentielle permet à un scientifique des données de tirer des conclusions sur une population à partir de données d'échantillon. De plus, la statistique inférentielle est utilisée par les scientifiques des données pour évaluer la performance des modèles et comparer différents algorithmes dans les applications d'apprentissage automatique. La statistique inférentielle fournit des méthodes pour générer des modèles de prévision (forecasting models) prédictifs, ce qui permet aux scientifiques des données de générer des prédictions et des tendances afin de faciliter une prise de décision efficace et précise. Dans cette section, nous explorons l'utilisation des intervalles de confiance, largement utilisés dans l'analyse statistique inférentielle.
Nous commençons par présenter les intervalles de confiance, qui sont utilisés pour estimer l'intervalle dans lequel un paramètre de population est susceptible de se situer. Nous abordons l'estimation des paramètres pour la moyenne, tant lorsque l'écart-type est connu que lorsqu'il est inconnu. Nous examinons la détermination de la taille de l'échantillon, en nous appuyant sur les techniques d'échantillonnage présentées dans Collecte et préparation des données. Et nous abordons le bootstrap, une méthode utilisée pour construire un intervalle de confiance basé sur un échantillonnage répété. Tests d'hypothèses abordera ensuite les tests d'hypothèses, utilisés pour faire des inférences sur des paramètres inconnus.
Estimation de paramètres avec des intervalles de confiance
Une estimation ponctuelle (point estimate) est une valeur unique utilisée pour estimer un paramètre de population. Par exemple, une moyenne échantillonnale (sample mean) est une estimation ponctuelle représentative de la véritable moyenne de la population, dans le sens où la moyenne de l'échantillon sert d'estimation pour la moyenne inconnue de la population. Lorsque les chercheurs recueillent des données à partir d'un échantillon pour faire des inférences sur une population, ils calculent une estimation ponctuelle à partir des données observées de l'échantillon. (Voir Conception et mise en œuvre d'enquêtes pour une étude des techniques d'échantillonnage.) L'estimation ponctuelle sert de meilleure approximation ou estimation de la valeur réelle du paramètre.
Un intervalle de confiance (confidence interval) estime la plage dans laquelle un paramètre de population, tel qu'une moyenne ou une proportion, est susceptible de se situer. L'intervalle de confiance fournit un niveau d'incertitude associé à l'estimation et s'exprime sous la forme d'une plage de valeurs. Un intervalle de confiance fournit à la fois une borne inférieure et une borne supérieure pour le paramètre de la population, l'estimation ponctuelle étant centrée au sein de l'intervalle.
Le Tableau 4.1 décrit les estimations ponctuelles et les paramètres de population correspondants pour la moyenne et la proportion.
| Paramètre de population | Estimation ponctuelle | |
|---|---|---|
| Moyenne | La moyenne de la population est notée . | L'estimation ponctuelle est la moyenne de l'échantillon . |
| Proportion | La proportion de la population est notée . | L'estimation ponctuelle est la proportion de l'échantillon . |
Supposons qu'un chercheur souhaite estimer le revenu moyen de l'ensemble des résidents de Californie. Comme il n'est pas possible de recueillir des données auprès de chaque résident de Californie, le chercheur sélectionne un échantillon aléatoire de 1 000 résidents et calcule le revenu moyen de l'échantillon pour ces 1 000 personnes. Cette estimation du revenu moyen à partir de l'échantillon fournit alors une estimation du revenu moyen de la population de tous les résidents de Californie. La moyenne de l'échantillon est choisie comme estimation ponctuelle de la moyenne de la population en ce sens qu'elle fournit l'estimation sans biais pour la moyenne de la population. De la même manière, la proportion échantillonnale (sample proportion) fournit l'estimation sans biais de la proportion de la population. Un estimateur sans biais (unbiased estimator) est une statistique qui fournit une estimation précise du paramètre de population correspondant sans surestimer ni sous-estimer le paramètre.
Pour calculer un intervalle de confiance, deux quantités sont nécessaires :
- L'estimation ponctuelle
- La marge d'erreur
Comme mentionné, l'estimation ponctuelle est un nombre unique utilisé pour estimer le paramètre de population. La marge d'erreur (margin of error) (habituellement notée E) donne une indication de l'erreur maximale de l'estimation. La marge d'erreur peut être vue comme la distance maximale autour de l'estimation ponctuelle où le paramètre de population existe selon un niveau de confiance spécifié.
Une fois l'estimation ponctuelle et la marge d'erreur déterminées, l'intervalle de confiance est calculé comme suit :
La marge d'erreur reflète le niveau de confiance souhaité par le chercheur. Le niveau de confiance (confidence level) est la probabilité que l'estimation par intervalle contienne le paramètre de population, étant donné que le processus d'estimation sur le paramètre est répété encore et encore. Les niveaux de confiance varient généralement entre 80 % et 95 % de confiance.
En plus du niveau de confiance, la variabilité de l'échantillon et la taille de l'échantillon influent toutes deux sur la marge d'erreur.
Une fois l'intervalle de confiance calculé, une déclaration de conclusion est formulée pour refléter à la fois le niveau de confiance et le paramètre de population inconnu. Cette déclaration indique qu'il existe un certain niveau de confiance que le paramètre de population soit contenu dans les bornes de l'intervalle de confiance.
À titre d'exemple, considérons un scientifique des données qui souhaite prévoir le revenu médian pour l'ensemble des résidents de Californie. Les données de revenu sont recueillies à partir d'un échantillon de 1 000 résidents, et le revenu médian s'élève à 68 500 $. Supposons également que la marge d'erreur pour un intervalle de confiance à 95 % soit de 4 500 $ (plus de détails sur le calcul de la marge d'erreur sont fournis ci-après). Le scientifique des données peut maintenant construire un intervalle de confiance à 95 % pour prévoir les niveaux de revenu de la manière suivante :
Le scientifique des données peut alors énoncer la conclusion suivante : On a 95 % de confiance que la prévision du revenu médian pour tous les résidents de Californie se situe entre 64 000 $ et 73 000 $.
Exemple 4.1
Problème
Un chercheur médical s'intéresse à l'estimation de l'âge moyen de la population pour les patients souffrant d'arthrite. Un échantillon de 100 patients est prélevé, et la moyenne de l'échantillon est déterminée à 64 ans. Supposons que la marge d'erreur correspondante pour un intervalle de confiance à 95 % soit calculée à 4 ans.
Calculez l'intervalle de confiance et formulez une conclusion concernant l'intervalle de confiance.
Solution
L'estimation ponctuelle est la moyenne de l'échantillon, qui est de 64, et la marge d'erreur est donnée comme étant de 4 ans.
L'intervalle de confiance à 95 % peut être calculé comme suit :
Déclaration de conclusion :
Le chercheur a une confiance de 95 % que l'âge moyen de la population pour les patients souffrant d'arthrite est contenu dans l'intervalle allant de 60 à 68 ans.
Distribution d'échantillonnage (sampling) pour la moyenne
Un chercheur prélève des échantillons répétés de taille 1 000 parmi les résidents de New York afin de recueillir des données sur le revenu moyen des résidents de New York.
Pour chaque échantillon de taille 1 000, nous pouvons calculer une moyenne d'échantillon, . Si le chercheur devait prélever 50 échantillons de ce type (chacun d'une taille de 1 000), une série de moyennes d'échantillons peut être calculée :
Une distribution de probabilité basée sur tous les échantillons aléatoires possibles d'une certaine taille provenant d'une population — ou distribution d'échantillonnage (sampling (or sample) distribution) — peut alors être analysée. Par exemple, nous pouvons calculer la moyenne de ces moyennes d'échantillons, et nous pouvons calculer l'écart-type de ces moyennes d'échantillons.
La distribution d'échantillonnage de ces moyennes d'échantillons possède deux propriétés importantes :
- La moyenne des moyennes d'échantillons (notée ) est égale à la moyenne de la population .
- Écrit mathématiquement :
- L'écart-type des moyennes d'échantillons (noté ) est égal à l'écart-type de la population divisé par la racine carrée de la taille de l'échantillon .
- Écrit mathématiquement :
Le théorème central limite (central limit theorem) décrit la relation entre la distribution d'échantillonnage des moyennes d'échantillons et la population sous-jacente. Ce théorème est un outil important qui permet aux scientifiques des données et aux chercheurs d'utiliser des données d'échantillon pour générer des inférences sur les paramètres de la population.
Conditions du théorème central limite :
- Si des échantillons aléatoires sont prélevés dans n'importe quelle population ayant une moyenne et un écart-type, où la taille de l'échantillon est d'au moins 30, alors la distribution des moyennes d'échantillons se rapproche d'une distribution normale (en cloche).
- Si des échantillons aléatoires sont prélevés dans une population normalement distribuée ayant une moyenne et un écart-type , alors la distribution des moyennes d'échantillons se rapproche d'une distribution normale (en cloche) pour toute taille d'échantillon.
Exemple 4.2
Problème
Un économiste prélève des échantillons aléatoires de taille 50 pour estimer le salaire moyen des ingénieurs chimistes. Supposons que le salaire moyen de la population soit de 85 000 $ et que l'écart-type de la population soit de 9 000 $. On ignore si la distribution des salaires suit une distribution normale.
Calculez la moyenne et l'écart-type de la distribution d'échantillonnage des moyennes d'échantillons et commentez la forme de la distribution pour les moyennes d'échantillons.
Solution
La moyenne des moyennes d'échantillons est égale à la moyenne de la population .
L'écart-type des moyennes d'échantillons est égal à l'écart-type de la population divisé par la racine carrée de la taille de l'échantillon .
Puisque la taille de l'échantillon de 50 est supérieure à 30, la distribution des moyennes d'échantillons se rapproche d'une distribution normale (en cloche).
Intervalle de confiance pour la moyenne lorsque l'écart-type de la population est connu
Bien que dans de nombreuses situations l'écart-type de la population soit inconnu, dans certains cas, une estimation raisonnable de l'écart-type de la population peut être obtenue à partir d'études antérieures ou de données historiques.
Voici ce qui est nécessaire pour calculer l'intervalle de confiance pour la moyenne lorsque l'écart-type de la population est connu :
- Un échantillon aléatoire est prélevé dans la population.
- La taille de l'échantillon est d'au moins 30, ou la population sous-jacente est connue pour suivre une distribution normale.
- L'écart-type de la population () est connu.
Une fois ces conditions remplies, la marge d'erreur est calculée selon la formule suivante :
Où :
est appelée la valeur critique de la distribution normale et est calculée comme la valeur z (score z) qui délimite l'aire correspondant au niveau de confiance entre et . Par exemple, pour un intervalle de confiance à 95 %, la valeur critique correspondante est puisqu'une aire de 0,95 sous la courbe normale est comprise entre les scores z de et .
est l'écart-type de la population.
est la taille de l'échantillon.
Remarque : est appelée l'erreur type de la moyenne (standard error of the mean).
Les valeurs typiques de pour divers niveaux de confiance sont présentées dans le Tableau 4.2.
| Niveau de confiance | Valeur de |
|---|---|
| 80 % de confiance | 1,280 |
| 90 % de confiance | 1,645 |
| 95 % de confiance | 1,960 |
| 99 % de confiance | 2,575 |
Graphiquement, les valeurs critiques peuvent être indiquées sur la courbe de la distribution normale, comme illustré à la Figure 4.2. (Voir Distributions de probabilité discrètes et continues pour un rappel sur la courbe de distribution normale.) La Figure 4.2 présente un exemple pour un intervalle de confiance à 95 % où l'aire de 0,95 est centrée sous la courbe normale standard, montrant les valeurs de et . Puisque la courbe normale standard est symétrique et que l'aire totale sous la courbe est égale à 1, l'aire dans chacune des deux queues peut être calculée comme valant 0,025. Ainsi, la valeur critique (critical value) est ce score z qui délimite une aire de 0,025 dans la queue supérieure de la courbe normale standard.
Une fois la marge d'erreur calculée, l'intervalle de confiance peut être déterminé comme suit :
Notez qu'il s'agit du format général pour construire n'importe quel intervalle de confiance, à savoir que la marge d'erreur est ajoutée et soustraite de la statistique de l'échantillon pour générer respectivement les bornes supérieure et inférieure de l'intervalle de confiance. Une statistique de l'échantillon (sample statistic) décrit un aspect de l'échantillon, tel qu'une moyenne ou une proportion d'échantillon.
Forme générale d'un intervalle de confiance :
Exemple 4.3
Problème
Un professeur d'université recueille des données sur le temps passé chaque semaine aux devoirs à domicile pour un échantillon de 50 étudiants dans un cours de statistiques. À partir de l'échantillon de 50 étudiants, le temps moyen passé aux devoirs par semaine est de 12,5 heures. L'écart-type de la population est connu pour être de 6,3 heures.
Le professeur aimerait prévoir le temps passé aux devoirs lors des prochains semestres. Créez un intervalle de confiance prévisionnel en utilisant à la fois un intervalle de confiance à 90 % et à 95 % et donnez une conclusion concernant l'intervalle de confiance. Comparez également les largeurs des deux intervalles de confiance. Quel intervalle de confiance est le plus large ?
Solution
Calcul pour l'intervalle de confiance à 90 %
Pour un intervalle de confiance à 90 %, la valeur critique correspondante est .
La marge d'erreur est calculée comme suit :
L'intervalle de confiance à 90 % est calculé comme suit :
Déclaration de conclusion :
Le professeur peut prévoir avec une confiance de 90 % que le temps moyen consacré aux devoirs lors d'un semestre futur se situe dans l'intervalle de 11,03 à 13,97 heures par semaine.
Calcul pour l'intervalle de confiance à 95 %
Pour un intervalle de confiance à 95 %, la valeur critique correspondante est .
La marge d'erreur est calculée comme suit :
L'intervalle de confiance à 95 % est calculé comme suit :
Déclaration de conclusion :
Le professeur peut prévoir avec une confiance de 95 % que le temps moyen consacré aux devoirs lors d'un semestre futur se situe dans l'intervalle de 10,75 à 14,25 heures par semaine.
Comparaison des intervalles de confiance à 90 % et 95 % :
L'intervalle de confiance à 90 % s'étend de 11,03 à 13,97.
L'intervalle de confiance à 95 % s'étend de 10,75 à 14,25.
On remarque que l'intervalle de confiance à 95 % est plus large. Si le niveau de confiance augmente, tous les autres paramètres étant maintenus constants, on doit s'attendre à ce que l'intervalle de confiance devienne plus large. Une autre façon d'envisager cela : plus l'intervalle de confiance est large, plus il est probable qu'il contienne la vraie moyenne de la population. Cela est tout à fait intuitif car si l'on souhaite être plus certain que la vraie valeur du paramètre se trouve dans un intervalle, alors l'intervalle doit être plus large pour couvrir un éventail plus grand de valeurs possibles. Par analogie, imaginez une personne essayant d'attraper un poisson. Plus le filet utilisé est large, plus la probabilité d'attraper un poisson est élevée.
Vous remarquerez peut-être que la taille de l'échantillon se trouve au dénominateur de la formule de la marge d'erreur. Cela indique qu'à mesure que la taille de l'échantillon augmente, la marge d'erreur diminue, ce qui donne un intervalle de confiance plus étroit. D'un autre côté, lorsque la taille de l'échantillon diminue, la marge d'erreur augmente et l'intervalle de confiance devient plus large.
Intervalle de confiance pour la moyenne lorsque l'écart-type de la population est inconnu
Un intervalle de confiance peut toujours être déterminé lorsque l'écart-type de la population est inconnu en calculant un écart-type d'échantillon à partir des données de l'échantillon. Il s'agit en réalité de l'application la plus courante des intervalles de confiance.
Voici les conditions requises pour utiliser cette procédure :
- Un échantillon aléatoire est prélevé dans la population.
- La taille de l'échantillon est d'au moins 30, ou la population sous-jacente est connue pour suivre une distribution normale.
- L'écart-type de la population () est inconnu ; l'écart-type de l'échantillon peut être calculé.
Une fois ces conditions remplies, la marge d'erreur (E) est calculée selon la formule suivante :
est appelée la valeur critique de la loi de Student. La loi de Student (t-distribution) est une distribution symétrique en forme de cloche similaire à la distribution normale, bien que la loi de Student possède des « queues plus épaisses » par rapport à la distribution normale. La comparaison entre la courbe de distribution normale et celle de la loi de Student est présentée à la Figure 4.3.
La loi de Student est en réalité une famille de courbes, déterminées par un paramètre appelé degrés de liberté (df), où df est égal à . La valeur critique est similaire à un score z et indique l'aire sous la courbe de la loi de Student correspondant au niveau de confiance compris entre et . Les valeurs de peuvent être obtenues à l'aide d'une table de valeurs ou d'outils informatiques.
Par exemple, pour un intervalle de confiance à 95 % et une taille d'échantillon de 30, la valeur critique correspondante est puisqu'une aire de 0,95 sous la courbe de la loi de Student est contenue entre les scores t de et .
est l'écart-type de l'échantillon.
est la taille de l'échantillon.
df représente les degrés de liberté, où .
Les valeurs typiques de pour divers niveaux de confiance et degrés de liberté sont présentées dans le Tableau 4.3.
| Niveau de confiance | |||
|---|---|---|---|
| Degrés de liberté (df) | 90 % de confiance | 95 % de confiance | 99 % de confiance |
| 1 | 6,314 | 12,706 | 63,657 |
| 2 | 2,920 | 4,203 | 9,925 |
| 3 | 2,353 | 3,182 | 5,841 |
| 4 | 2,132 | 2,776 | 4,604 |
| 5 | 2,015 | 2,571 | 4,032 |
| 10 | 1,812 | 2,228 | 3,169 |
| 15 | 1,753 | 2,131 | 2,947 |
| 20 | 1,725 | 2,086 | 2,845 |
| 25 | 1,708 | 2,060 | 2,787 |
| 30 | 1,697 | 2,042 | 2,750 |
Notez que Python peut être utilisé pour calculer ces valeurs critiques. Python fournit une fonction appelée t.ppf() qui génère la valeur de la loi de Student correspondant à une aire spécifiée sous la courbe de la loi de Student et à des degrés de liberté spécifiés. Cette fonction fait partie de la bibliothèque scipy.stats.
La syntaxe de la fonction est :
t.ppf(area to left, degrees of freedom)
Par exemple, pour un intervalle de confiance à 95 %, il y a une aire de 0,95 centrée sous la courbe de la loi de Student, ce qui laisse une aire restante de 0,05 pour les deux queues de la distribution, impliquant ainsi une aire de 0,025 dans chaque queue. Pour trouver une valeur critique correspondant à l'aire supérieure de 0,025, notez que l'aire située à gauche de cette valeur critique sera alors de 0,975.
Voici un exemple de code Python pour générer la valeur critique pour un intervalle de confiance à 95 % et 15 degrés de liberté.
Code Python
# import function from scipy.stats library
from scipy.stats import t
# define parameters called area to left and degrees of freedom df
Area_to_left = 0.975
df = 15
# use t.ppf function to calculate critical values associated with t-
# use round function to round answer to 3 decimal places
round (t.ppf(Area_to_left, df), 3)
La sortie obtenue ressemblera à ceci :
2.131
Une fois la marge d'erreur calculée, l'intervalle de confiance est formé de la même manière que dans la section précédente, à savoir :
Exemple 4.4
Problème
Le responsable des ressources humaines d'une entreprise souhaite estimer la distance moyenne de déplacement domicile-travail pour l'ensemble des 5 000 employés de l'entreprise. Comme il n'est pas pratique de recueillir les distances de trajet des 5 000 employés, le responsable décide d'échantillonner 16 employés et recueille la distance de déplacement de chaque employé de l'échantillon. Les données de l'échantillon indiquent une moyenne de l'échantillon de 15,8 milles avec un écart-type de 3,2 milles. Calculez un intervalle de confiance à 99 % et formulez une conclusion concernant l'intervalle de confiance.
Solution
La taille de l'échantillon étant de 16 employés, le nombre de degrés de liberté est inférieur de un à la taille de l'échantillon, soit . Pour un intervalle de confiance à 99 %, la valeur critique correspondante est .
La marge d'erreur est calculée comme suit :
L'intervalle de confiance à 99 % est calculé comme suit :
Déclaration de conclusion :
Le responsable peut être sûr à 99 % que la véritable distance moyenne de trajet de la population pour l'ensemble des employés se situe entre 13,44 et 18,16 milles.
Intervalle de confiance pour les proportions
Nous pouvons également calculer un intervalle de confiance pour une proportion de population à partir de données d'échantillon. La base de cet intervalle de confiance sera l'application d'une approximation normale à la distribution binomiale. Rappelez-vous d'après Distributions de probabilité discrètes et continues qu'une distribution binomiale (binomial distribution) est une distribution de probabilité pour une variable aléatoire discrète où il n'existe que deux issues possibles pour une expérience. Une proportion mesure le nombre de succès dans un échantillon. Par exemple, si 10 répondants à une enquête sur 50 indiquent qu'ils prévoient de voyager à l'international au cours des 12 prochains mois, alors la proportion est de 10 sur 50, soit 0,2 ou 20 %. Notez que le terme succès n'implique pas nécessairement un résultat positif. Par exemple, un chercheur pourrait s'intéresser à la proportion de fumeurs parmi les adultes américains, et le nombre de fumeurs serait alors considéré comme le nombre de succès.
Quelques éléments de terminologie seront utiles :
représente la proportion de la population, qui est généralement inconnue.
représente la proportion de l'échantillon.
représente le nombre de succès dans l'échantillon.
représente la taille de l'échantillon.
Voici les conditions requises pour utiliser cette procédure :
- Un échantillon aléatoire est prélevé dans la population.
- Vérifier que l'approximation normale de la loi binomiale est appropriée en s'assurant que et sont tous deux supérieurs ou égaux à 5, où représente la proportion de l'échantillon.
La proportion de l'échantillon est calculée comme le nombre de succès divisé par la taille de l'échantillon :
Lorsque ces conditions sont remplies, la marge d'erreur (E) pour un intervalle de confiance pour des proportions est calculée selon la formule suivante :
Où :
est appelée la valeur critique de la distribution normale et est calculée comme le score z qui délimite l'aire correspondant au niveau de confiance entre et .
représente la proportion de l'échantillon.
est la taille de l'échantillon.
Une fois la marge d'erreur calculée, l'intervalle de confiance est formé de la même manière que dans la section précédente. Dans ce cas, l'estimation ponctuelle est la proportion de l'échantillon :
Exemple 4.5
Problème
Un chercheur médical souhaite savoir s'il y a eu un changement statistiquement significatif dans la proportion de fumeurs par rapport à il y a cinq ans, lorsque la proportion de fumeurs adultes aux États-Unis était d'environ 28 %. Le chercheur sélectionne un échantillon aléatoire de 1 500 adultes et, parmi eux, 360 répondent qu'ils sont fumeurs. Calculez un intervalle de confiance à 95 % pour la véritable proportion d'adultes qui fument dans la population. Déterminez également s'il y a eu un changement statistiquement significatif dans la proportion de fumeurs par rapport à il y a cinq ans.
Solution
Pour un intervalle de confiance à 95 %, la valeur critique correspondante est .
Commencez par calculer la proportion de l'échantillon :
Vérifiez que l'approximation normale de la distribution binomiale est appropriée en vous assurant que et sont tous deux d'au moins 5, où représente la proportion de l'échantillon.
Dans cet exemple, , et . Ces deux résultats sont au moins égaux à 5, ce qui confirme que l'approximation normale de la distribution binomiale est appropriée.
La marge d'erreur est ensuite calculée comme suit :
L'intervalle de confiance à 95 % est calculé comme suit :
Déclaration de conclusion :
Le chercheur peut avoir une confiance de 95 % que la véritable proportion d'adultes fumeurs dans la population aux États-Unis se situe entre 0,218 et 0,262, ce qui peut également s'écrire entre 21,8 % et 26,2 %. Étant donné que cet intervalle de confiance à 95 % exclut la valeur précédente de 28 % d'il y a cinq ans, le chercheur peut affirmer qu'il y a eu une diminution statistiquement significative de la proportion de fumeurs par rapport à il y a cinq ans.
Détermination de la taille de l'échantillon
Lors de la collecte de données d'échantillon pour construire un intervalle de confiance pour une moyenne ou une proportion, comment le chercheur détermine-t-il la taille d'échantillon optimale ? Une taille d'échantillon trop faible peut conduire à un intervalle de confiance large qui n'est pas très utile. Une taille d'échantillon trop importante peut entraîner un gaspillage de ressources si un échantillon plus petit suffisait. L'échantillonnage est abordé en détail dans Gestion des grands ensembles de données. Nous passons ici en revue les méthodes permettant de déterminer les exigences de taille d'échantillon (sample size requirements) minimales lors de la construction d'intervalles de confiance pour des moyennes ou des proportions. Notez que la marge d'erreur souhaitée joue un rôle clé dans cette détermination de la taille de l'échantillon.
Taille de l'échantillon pour l'intervalle de confiance pour la moyenne
Lors de la détermination d'un intervalle de confiance pour une moyenne, un chercheur peut utiliser la formule de la marge d'erreur (margin of error formula) pour la moyenne ; en résolvant cette formule de manière algébrique pour la taille de l'échantillon (), la formule de taille d'échantillon minimale suivante peut être utilisée pour déterminer la taille d'échantillon minimale requise pour atteindre une certaine marge d'erreur :
Formule de taille d'échantillon pour l'intervalle de confiance pour la moyenne :
Où :
est la valeur critique de la distribution normale.
est l'écart-type de la population.
est la marge d'erreur souhaitée.
Notez que pour les calculs de taille d'échantillon, les résultats sont arrondis à l'entier supérieur le plus proche. Par exemple, si la formule présentée précédemment donne une taille d'échantillon de 59,2, la taille de l'échantillon sera arrondie à 60.
Exemple 4.6
Problème
Un analyste des avantages sociaux s'intéresse à un intervalle de confiance à 90 % pour le salaire moyen des ingénieurs chimistes. Quelle taille d'échantillon l'analyste doit-il utiliser si une marge d'erreur de 1 000 $ est souhaitée ? Supposons un écart-type de population de 8 000 $.
Solution
Pour un intervalle de confiance à 90 %, la valeur critique correspondante est . L'écart-type de la population est donné comme étant de 8 000 $, et la marge d'erreur souhaitée est de 1 000 $.
En utilisant la formule de taille d'échantillon :
En arrondissant à l'entier supérieur le plus proche, la taille d'échantillon souhaitée est donc de 174.
L'analyste doit viser une taille d'échantillon de 174 ingénieurs chimistes pour une enquête sur les salaires afin de pouvoir calculer un intervalle de confiance à 90 % pour le salaire moyen des ingénieurs chimistes.
Taille de l'échantillon pour l'intervalle de confiance pour une proportion
Dans l'Exemple 4.5, comment le chercheur saurait-il quelle taille d'échantillon optimale utiliser pour recueillir des données sur la proportion d'adultes qui fument ? La formule de la marge d'erreur peut être utilisée pour dériver la taille de l'échantillon pour une proportion comme suit :
Où :
est la valeur critique de la distribution normale.
est la proportion de l'échantillon.
est la marge d'erreur souhaitée.
Remarquez que dans cette formule, on suppose qu'une estimation préalable de la proportion de l'échantillon est disponible, provenant par exemple de données historiques ou d'études antérieures. Si aucune estimation préalable de la proportion de l'échantillon n'est disponible, utilisez la valeur 0,5 pour .
Détermination de la taille de l'échantillon
Lors de la détermination de la taille d'échantillon nécessaire pour un intervalle de confiance pour une proportion :
Si une estimation préalable de la proportion de l'échantillon est disponible, cette estimation préalable doit être utilisée.
- Si aucune estimation préalable de la proportion de l'échantillon n'est disponible, utilisez .
Exemple 4.7
Problème
Le candidat politique Smith prépare un sondage afin de déterminer un intervalle de confiance à 95 % pour la proportion d'électeurs qui prévoient de voter pour Smith. Combien de personnes devraient être interrogées ? Supposons une marge d'erreur de 3 %.
- Supposons qu'il n'existe aucune estimation préalable de la proportion d'électeurs prévoyant de voter pour le candidat Smith.
- Supposons que d'après les résultats des élections précédentes, environ 42 % des électeurs ont déjà voté pour le candidat Smith.
Solution
- Pour un intervalle de confiance à 95 %, la valeur critique correspondante est . La marge d'erreur est fixée à 0,03. Puisqu'aucune estimation préalable de la proportion de l'échantillon n'est connue, utilisez une valeur de 0,5 pour .
En utilisant la formule de taille d'échantillon :
En arrondissant à l'entier supérieur le plus proche, la taille d'échantillon souhaitée est de 1 068 personnes à interroger. - Puisqu'une estimation préalable de la proportion de l'échantillon est disponible, utilisez la valeur de 0,42 pour .
En utilisant la formule de taille d'échantillon :
En arrondissant à l'entier supérieur le plus proche, la taille d'échantillon souhaitée est de 1 040 personnes à interroger.
Remarquez que le fait de disposer d'une estimation préalable de la proportion de l'échantillon entraîne une exigence de taille d'échantillon plus faible. Il s'agit d'une conclusion générale : si un chercheur dispose d'une estimation préalable de la proportion de la population, cela se traduira par une exigence de taille d'échantillon plus faible par rapport à la situation où aucune estimation préalable n'est disponible.
Méthodes de rééchantillonnage bootstrap
Dans la discussion précédente sur les intervalles de confiance, certaines conditions devaient être remplies pour pouvoir utiliser les méthodes d'estimation. Par exemple, lors du calcul de l'intervalle de confiance pour une moyenne, cette exigence a été indiquée :
- La taille de l'échantillon est d'au moins 30, ou la population sous-jacente est connue pour suivre une distribution normale.
Lors du calcul de l'intervalle de confiance pour une proportion, cette exigence a été soulignée :
- Vérifier que l'approximation normale de la distribution binomiale est appropriée en s'assurant que et sont tous deux d'au moins 5.
Que doit faire un chercheur lorsque ces exigences ne sont pas remplies ? Heureusement, il existe une autre option appelée « bootstrap » qui peut être utilisée pour déterminer des intervalles de confiance lorsque la distribution sous-jacente est inconnue ou si l'une des conditions n'est pas remplie. Cette méthode de bootstrap consiste à procéder à plusieurs reprises à un échantillonnage avec remise.
L'échantillonnage avec remise (sampling with replacement) signifie que lorsqu'une observation est sélectionnée, elle est remise dans l'ensemble de données avant de choisir l'observation suivante. Par exemple, un croupier de casino prévoit de tirer un échantillon de deux cartes d'un jeu standard de 52 cartes. Si l'échantillonnage doit se faire avec remise, alors après avoir tiré la première carte, celle-ci est remise dans le jeu avant de tirer la deuxième carte. Cela implique que la même valeur de donnée peut apparaître plusieurs fois dans un échantillon donné puisque dès qu'une valeur est sélectionnée pour l'échantillon, elle est remise dans l'ensemble de données et peut être sélectionnée à nouveau.
Par exemple, un chercheur qui a recueilli 100 observations à utiliser pour l'inférence peut vouloir estimer un intervalle de confiance pour la moyenne de la population. Le chercheur peut alors rééchantillonner, avec remise, à partir de cet ensemble limité de 100 observations. Il prélève à plusieurs reprises un échantillon de taille 100 et calcule la moyenne de l'échantillon. Ces moyennes représentent alors la distribution des moyennes (rappelez-vous la discussion sur la distribution d'échantillonnage). En règle générale, pour le bootstrap, des échantillons répétés sont prélevés des centaines ou des milliers de fois, puis la moyenne de l'échantillon est calculée pour chaque échantillon.
Le terme « bootstrap » provient de la vieille expression anglaise « pull yourself up by your bootstraps » (se hisser par ses propres bottes) pour désigner une tâche accomplie sans aucune aide extérieure. Au sens statistique, le bootstrap (bootstrapping) fait référence à la capacité d'estimer des paramètres uniquement à partir d'un seul échantillon de données issues de la population, sans aucune autre hypothèse préalable.
La méthode de bootstrap est considérée comme une méthode non paramétrique (nonparametric method) car la technique ne formule aucune hypothèse sur la distribution de probabilité à partir de laquelle les données sont échantillonnées. (Les méthodes paramétriques (parametric methods), en revanche, supposent une forme spécifique pour la distribution sous-jacente et nécessitent l'estimation de paramètres.)
Étant donné que le bootstrap nécessite un grand nombre d'échantillonnages répétés, un logiciel (comme Excel, Python ou R) est souvent utilisé pour automatiser ces procédures d'échantillonnage répétitives et construire les intervalles de confiance.
La procédure de bootstrap pour l'estimation d'un intervalle de confiance pour une moyenne ou une proportion est la suivante :
- Commencer avec un échantillon aléatoire de taille . Prélever de nombreux échantillons bootstrap aléatoires de taille —par exemple, des centaines ou des milliers d'échantillons de ce type. N'oubliez pas que l'échantillonnage se fait avec remise.
- Pour chaque échantillon, calculer la statistique de l'échantillon, c'est-à-dire la moyenne de l'échantillon ou la proportion de l'échantillon .
- Classer les statistiques de l'échantillon de la plus petite à la plus grande.
- Pour un intervalle de confiance à 95 %, trouver les centiles P2,5 et P97,5 dans les données ordonnées. Ces valeurs établissent l'intervalle de confiance à 95 %.
- Pour un intervalle de confiance à 90 %, trouver les centiles P5 et P95. Ces valeurs établissent l'intervalle de confiance à 90 %.
Exemple 4.8
Problème
Un administrateur d'université élabore de nouveaux supports marketing pour accroître les inscriptions, et il s'intéresse à un intervalle de confiance à 90 % pour l'âge moyen des étudiants fréquentant l'université.
L'administrateur pense que la distribution sous-jacente des âges est asymétrique (ne suit pas une distribution normale), c'est pourquoi une méthode de bootstrap sera utilisée pour construire l'intervalle de confiance. L'administrateur sélectionne un échantillon aléatoire de 20 étudiants et enregistre leurs âges comme indiqué dans le Tableau 4.4. Utilisez la méthode de bootstrap pour construire l'intervalle de confiance à 90 % en prélevant des échantillons répétés de taille 10.
| Identifiant de l'étudiant | Âge de l'étudiant |
|---|---|
| 001 | 22 |
| 002 | 24 |
| 003 | 21 |
| 004 | 34 |
| 005 | 29 |
| 006 | 23 |
| 007 | 21 |
| 008 | 20 |
| 009 | 19 |
| 010 | 21 |
| 011 | 25 |
| 012 | 28 |
| 013 | 22 |
| 014 | 37 |
| 015 | 24 |
| 016 | 31 |
| 017 | 23 |
| 018 | 19 |
| 019 | 26 |
| 020 | 20 |
Solution
Pour le processus de bootstrap, nous formerons des échantillons de taille 10 par commodité. Notez que l'échantillonnage se fait avec remise, donc une fois qu'un âge est sélectionné, il est remis dans l'ensemble de données et cet âge particulier peut être sélectionné à nouveau au sein du même échantillon.
Imaginez que l'on forme des centaines ou des milliers d'échantillons de ce type, chacun ayant une taille de 10. Pour chacun de ces échantillons, calculez la moyenne de l'échantillon (voir la colonne intitulée « Moyennes des échantillons »).
Dans l'exemple illustré à la Figure 4.4, seuls 20 échantillons sont prélevés pour des raisons d'espace, car afficher les résultats de milliers d'échantillons n'est pas pratique pour ce manuel. Cependant, un processus de bootstrap implique généralement un grand nombre d'échantillons de ce type — de l'ordre de plusieurs milliers d'échantillons — ce qui est rendu possible grâce à un logiciel (tel qu'Excel, Python ou R).
Ensuite, triez les moyennes des échantillons de la plus petite à la plus grande (voir la colonne intitulée « Moyennes des échantillons triées »).
La dernière étape consiste à calculer l'intervalle de confiance à 90 % basé sur ces moyennes triées. Pour un intervalle de confiance à 90 %, déterminez les centiles P5 et P95. Ces valeurs établissent l'intervalle de confiance à 90 %.
Pour trouver le 5e centile (P5), multipliez le centile (5 %) par le nombre de valeurs de données, qui est de 20. Le résultat est 1, donc pour trouver le 5e centile, additionnez la première et la deuxième valeur de données ensemble et divisez par 2. Pour cet exemple, additionnez 21,9 à 22,2 et divisez par 2. Le résultat est 22,05.
Pour trouver le 95e centile (P95), multipliez le centile (95 %) par le nombre de données, qui est de 20. Le résultat est 19, donc pour trouver le 95e centile, additionnez la 19e et la 20e valeur de données ensemble et divisez par 2. Pour cet exemple, additionnez 28,5 à 28,6 et divisez par 2. Le résultat est 28,6.
D'après la méthode de bootstrap, l'intervalle de confiance à 90 % est de (22,05, 28,6).
Python fournit une fonction appelée bootstrap() dans la bibliothèque scipy.stats (scipy.stats library) pour automatiser ce processus de bootstrap.
Dans la fonction bootstrap(), l'utilisateur peut spécifier le nombre de rééchantillonnages à effectuer dans le cadre du processus de bootstrap. Dans cet exemple, nous utiliserons 50 000 échantillons à l'aide du paramètre _resample.
Code Python
from scipy.stats import bootstrap
import numpy as np
#define random sample of ages
ages = [22, 23, 25, 31, 24, 21, 28, 23, 21, 20, 22, 19, 34, 19, 37, 26, 29, 21, 24, 20]
#convert ages to sequence
ages = (ages,)
#use bootstrap function for confidence interval for the mean
conf_interval = bootstrap(ages, np.mean, confidence_level=0.95,
random_state=1, n_resamples = 50000, method='percentile')
#print the confidence interval
print(conf_interval.confidence_interval)
La sortie obtenue ressemblera à ceci :
ConfidenceInterval(low=22.45, high=26.7)
À partir de 50 000 échantillons de bootstrap, un intervalle de confiance à 95 % est généré sous la forme (22,45, 26,7).
Pour aller plus loin
Simulation d'intervalles de confiance
Plusieurs sites Web et ressources, comme le manuel en ligne Online Statistics Education: A Multimedia Course of Study (http://onlinestatbook.com/) (responsable du projet : David M. Lane, Rice University), permettent à l'utilisateur de simuler des intervalles de confiance pour des moyennes ou des proportions à l'aide de données d'échantillons simulées. Il est utile d'observer combien d'intervalles contiennent une valeur supposée pour la moyenne de la population ou la proportion de la population. Le site Web Stapplet propose un outil similaire.
Utilisation de Python pour calculer des intervalles de confiance
Lors du calcul des intervalles de confiance, les scientifiques des données utilisent généralement la technologie pour simplifier et automatiser l'analyse. Python propose des fonctions intégrées pour les calculs d'intervalles de confiance, et plusieurs exemples sont présentés dans le Tableau 4.5. Les étudiants sont encouragés à tester ces exemples par eux-mêmes et à expérimenter l'utilisation de Python pour réaliser ces calculs.
Le Tableau 4.5 présente un résumé des différentes fonctions disponibles dans la bibliothèque SciPy (SciPy library) pour le calcul d'intervalles de confiance :
| Utilisation | Nom de la fonction Python | Syntaxe |
|---|---|---|
| Calculer l'intervalle de confiance pour la moyenne lorsque l'écart-type de la population est connu, compte tenu de la moyenne de l'échantillon, de l'écart-type de la population et de la taille de l'échantillon (utilise la distribution normale). | norm.interval() |
norm.interval(conf_level, |
| Calculer l'intervalle de confiance pour la moyenne lorsque l'écart-type de la population est inconnu, compte tenu de la moyenne de l'échantillon, de l'écart-type de l'échantillon et de la taille de l'échantillon (utilise la loi de Student). | t.interval() |
t.interval(conf_level, |
| Calculer l'intervalle de confiance pour une proportion (utilise la distribution normale). | proportion_confint() |
proportion_confint(success, |
Exemple 4.9
Problème
Reprenez l'Exemple 4.3 pour calculer un intervalle de confiance à 90 %, mais utilisez les fonctions Python pour calculer cet intervalle de confiance.
Rappelons d'après l'Exemple 4.3 que la moyenne de l'échantillon est de 12,5 heures avec un écart-type de la population de 6,3 heures. La taille de l'échantillon est de 50 étudiants, et nous souhaitons calculer un intervalle de confiance à 90 %.
Solution
Utilisez la fonction Python norm.interval() comme indiqué :
Code Python
import scipy.stats as stats
import numpy as np
import math
# Enter sample mean, population standard deviation and sample size
sample_mean = 12.5
population_standard_deviation = 6.3
sample_size = 50
# Confidence level
confidence_level = 0.90
# standard error
standard_error = population_standard_deviation / math.sqrt(sample_size)
# Calculate confidence interval using norm.interval function
stats.norm.interval(confidence_level, sample_mean, standard_error)
La sortie obtenue ressemblera à ceci :
(11.03451018636739, 13.965489813632608)
Exemple 4.10
Problème
Reprenez l'Exemple 4.4 pour calculer un intervalle de confiance à 99 %, mais utilisez les fonctions Python pour calculer cet intervalle de confiance.
Rappelons d'après l'Exemple 4.4 que la moyenne de l'échantillon est de 15,8 milles avec un écart-type de 3,2 milles. La taille de l'échantillon est de 26 employés, et nous souhaitons calculer un intervalle de confiance à 99 %.
Solution
Utilisez la fonction Python t.interval() comme indiqué :
Code Python
# Enter sample mean, sample standard deviation, and sample size
sample_mean = 15.8
sample_standard_deviation = 3.2
sample_size = 26
# Degrees of freedom (sample size - 1)
degrees_of_freedom = sample_size - 1
# Confidence level
confidence_level = 0.99
# standard error
standard_error = sample_standard_deviation / math.sqrt(sample_size)
# Calculate confidence interval using t.interval function
t.interval(confidence_level, degrees_of_freedom, sample_mean, standard_error)
La sortie obtenue ressemblera à ceci :
(14.050684356083625, 17.549315643916376)