Test du chi carré de Pearson - Pearson's chi-squared test

La distribution nulle de la statistique de Pearson avec j lignes et k colonnes est approchée par la distribution chi-carré avec ( k  − 1)( j  − 1) degrés de liberté.

Cette approximation se présente comme la vraie distribution, sous l'hypothèse nulle, si la valeur attendue est donnée par une distribution multinomiale . Pour les échantillons de grande taille, le théorème central limite dit que cette distribution tend vers une certaine distribution normale multivariée .

Deux cellules

Dans le cas particulier où il n'y a que deux cellules dans le tableau, les valeurs attendues suivent une distribution binomiale ,

${\displaystyle E\ \sim \ {\mbox{Bin}}(n,p),\,}$

où

p = probabilité, sous l'hypothèse nulle,

n = nombre d'observations dans l'échantillon.

Dans l'exemple ci-dessus, la probabilité hypothétique d'une observation masculine est de 0,5, avec 100 échantillons. On s'attend donc à observer 50 mâles.

Si n est suffisamment grand, la distribution binomiale ci-dessus peut être approximée par une distribution gaussienne (normale) et donc la statistique du test de Pearson se rapproche d'une distribution chi-carré,

${\displaystyle {\text{Bin}}(n,p)\approx {\text{N}}(np,np(1-p)).\,}$

Soit O ₁ le nombre d'observations de l'échantillon qui se trouvent dans la première cellule. La statistique du test de Pearson peut être exprimée sous la forme

${\displaystyle {\frac {(O_{1}-np)^{2}}{np}}+{\frac {(n-O_{1}-n(1-p))^{2}}{ n(1-p)}},}$

qui peut à son tour s'exprimer par

${\displaystyle \left({\frac {O_{1}-np}{\sqrt {np(1-p)}}}\right)^{2}.}$

Par l'approximation normale d'un binôme, c'est le carré d'une variable normale standard, et est donc distribué comme chi-carré avec 1 degré de liberté. Notez que le dénominateur est un écart type de l'approximation gaussienne, donc peut être écrit

${\displaystyle {\frac {(O_{1}-\mu )^{2}}{\sigma ^{2}}}.}$

Ainsi, conformément à la signification de la distribution du chi carré, nous mesurons la probabilité que le nombre observé d'écarts-types par rapport à la moyenne soit sous l'approximation gaussienne (qui est une bonne approximation pour un grand n ).

La distribution du chi carré est ensuite intégrée à droite de la valeur statistique pour obtenir la valeur P , qui est égale à la probabilité d'obtenir une statistique égale ou supérieure à celle observée, en supposant l'hypothèse nulle.

Tableaux de contingence deux par deux

Lorsque le test est appliqué à un tableau de contingence contenant deux lignes et deux colonnes, le test équivaut à un test Z des proportions.

De nombreuses cellules

Des arguments globalement similaires à ceux ci-dessus conduisent au résultat souhaité, bien que les détails soient plus compliqués. On peut appliquer un changement orthogonal de variables pour transformer les sommes limites de la statistique de test en un carré de moins de variables aléatoires normales iid.

Montrons maintenant que la distribution se rapproche bien asymptotiquement de la distribution lorsque le nombre d'observations tend vers l'infini. ${\displaystyle \chi ^{2}}$

Soit le nombre d'observations, le nombre de cellules et la probabilité qu'une observation tombe dans la i-ème cellule, pour . Nous désignons par la configuration où pour chaque i il y a des observations dans la i-ème cellule. Noter que ${\style d'affichage n}$${\style d'affichage m}$${\style d'affichage p_{i}}$${\style d'affichage 1\leq i\leq m}$${\style d'affichage \{k_{i}\}}$${\displaystyle k_{i}}$

${\displaystyle \sum _{i=1}^{m}k_{i}=n\qquad {\text{and}}\qquad \sum _{i=1}^{m}p_{i}=1 .}$

Soit la statistique de test cumulative de Pearson pour une telle configuration, et soit la distribution de cette statistique. Nous montrerons que cette dernière probabilité se rapproche de la distribution avec des degrés de liberté, comme${\displaystyle \chi _{P}^{2}(\{k_{i}\},\{p_{i}\})}$${\displaystyle \chi _{P}^{2}(\{p_{i}\})}$${\displaystyle \chi ^{2}}$${\style d'affichage m-1}$${\displaystyle n\à \infty .}$

Pour toute valeur arbitraire T :

${\displaystyle P(\chi _{P}^{2}(\{p_{i}\})>T)=\sum _{\{k_{i}\}|\chi _{P}^{ 2}(\{k_{i}\},\{p_{i}\})>T}{\frac {n!}{k_{1}!\cdots k_{m}!}}\prod _{ i=1}^{m}{p_{i}}^{k_{i}}}$

Nous utiliserons une procédure similaire à l'approximation du théorème de Moivre–Laplace . Les contributions des petites sont d'ordre inférieur et donc pour les grandes, nous pouvons utiliser la formule de Stirling pour les deux et pour obtenir ce qui suit : ${\displaystyle k_{i}}$${\style d'affichage n}$${\style d'affichage n}$${\style d'affichage n!}$${\displaystyle k_{i} !}$

${\displaystyle P(\chi _{P}^{2}(\{p_{i}\})>T)\sim \sum _{\{k_{i}\}|\chi _{P}^ {2}(\{k_{i}\},\{p_{i}\})>T}\prod _{i=1}^{m}\left({\frac {np_{i}}{ k_{i}}}\right)^{k_{i}}{\sqrt {\frac {2\pi n}{\prod _{i=1}^{m}2\pi k_{i}}} }}$

En remplaçant

${\displaystyle x_{i}={\frac {k_{i}-np_{i}}{\sqrt {n}}},\qquad i=1,\cdots ,m-1,}$

nous pouvons approximer pour grand la somme sur le par une intégrale sur le . En notant que: ${\style d'affichage n}$${\displaystyle k_{i}}$${\style d'affichage x_{i}}$

${\displaystyle k_{m}=np_{m}-{\sqrt {n}}\sum _{i=1}^{m-1}x_{i},}$

nous arrivons à

${\displaystyle {\begin{aligned}P(\chi _{P}^{2}(\{p_{i}\})>T)&\sim {\sqrt {\frac {2\pi n}{ \prod _{i=1}^{m}2\pi k_{i}}}}\int _{\chi _{P}^{2}(\{{\sqrt {n}}x_{i} +np_{i}\},\{p_{i}\})>T}\gauche\{\prod _{i=1}^{m-1}{{\sqrt {n}}dx_{i} }\right\}\left\{\prod _{i=1}^{m-1}\left(1+{\frac {x_{i}}{{\sqrt {n}}p_{i}} }\right)^{-(np_{i}+{\sqrt {n}}x_{i})}\left(1-{\frac {\sum _{i=1}^{m-1}{ x_{i}}}{{\sqrt {n}}p_{m}}}\right)^{-\left(np_{m}-{\sqrt {n}}\sum _{i=1}^ {m-1}x_{i}\right)}\right\}\\&={\sqrt {\frac {2\pi n}{\prod _{i=1}^{m}\left(2 \pi np_{i}+2\pi {\sqrt {n}}x_{i}\right)}}}\int _{\chi _{P}^{2}(\{{\sqrt {n} }x_{i}+np_{i}\},\{p_{i}\})>T}\gauche\{\prod _{i=1}^{m-1}{{\sqrt {n} }dx_{i}}\right\}\times \\&\qquad \qquad \times \left\{\prod _{i=1}^{m-1}\exp \left[-\left(np_{ i}+{\sqrt {n}}x_{i}\right)\ln \left(1+{\frac {x_{i}}{{\sqrt {n}}p_{i}}}\right) \right]\exp \left[-\left(np_{m}-{\sqrt {n}}\sum _{i=1}^{m-1}x_{i}\right)\ln \left( 1-{\frac {\sum _{i=1}^{m-1}{x_{i}}}{{\sqrt {n}}p_{m}}}\right)\right]\right\ }\end{aligné}} }$

En développant le logarithme et en prenant les termes principaux dans , on obtient ${\style d'affichage n}$

${\displaystyle P(\chi _{P}^{2}(\{p_{i}\})>T)\sim {\frac {1}{\sqrt {(2\pi )^{m-1 }\prod _{i=1}^{m}p_{i}}}}\int _{\chi _{P}^{2}(\{{\sqrt {n}}x_{i}+np_ {i}\},\{p_{i}\})>T}\left\{\prod _{i=1}^{m-1}dx_{i}\right\}\prod _{i= 1}^{m-1}\exp \left[-{\frac {1}{2}}\sum _{i=1}^{m-1}{\frac {x_{i}^{2} }{p_{i}}}-{\frac {1}{2p_{m}}}\left(\sum _{i=1}^{m-1}{x_{i}}\right)^{ 2}\droit]}$

Le chi de Pearson, , est précisément l'argument de l'exposant (sauf pour le -1/2 ; notez que le terme final de l'argument de l'exposant est égal à ). ${\displaystyle \chi _{P}^{2}(\{k_{i}\},\{p_{i}\})=\chi _{P}^{2}(\{{\sqrt { n}}x_{i}+np_{i}\},\{p_{i}\})}$${\style d'affichage (k_{m}-np_{m})^{2}/(np_{m})}$

Cet argument peut s'écrire ainsi :

${\displaystyle -{\frac {1}{2}}\sum _{i,j=1}^{m-1}x_{i}A_{ij}x_{j},\qquad i,j=1 ,\cdots ,m-1,\quad A_{ij}={\tfrac {\delta _{ij}}{p_{i}}}+{\tfrac {1}{p_{m}}}.}$

${\style d'affichage A}$est une matrice symétrique régulière , et donc diagonalisable . Il est donc possible de faire un changement linéaire de variables de manière à obtenir de nouvelles variables de sorte que : ${\style d'affichage (m-1)\fois (m-1)}$${\style d'affichage \{x_{i}\}}$${\style d'affichage m-1}$${\style d'affichage \{y_{i}\}}$

${\displaystyle \sum _{i,j=1}^{m-1}x_{i}A_{ij}x_{j}=\sum _{i=1}^{m-1}y_{i} ^{2}.}$

Ce changement linéaire de variables multiplie simplement l'intégrale par une constante Jacobienne , nous obtenons donc :

${\displaystyle P(\chi _{P}^{2}(\{p_{i}\})>T)\sim C\int _{\sum _{i=1}^{m-1}y_ {i}^{2}>T}\gauche\{\prod _{i=1}^{m-1}dy_{i}\right\}\prod _{i=1}^{m-1} \exp \left[-{\frac {1}{2}}\left(\sum _{i=1}^{m-1}y_{i}^{2}\right)\right]}$

Où C est une constante.

Il s'agit de la probabilité que la somme au carré des variables indépendantes normalement distribuées de moyenne nulle et de variance unitaire soit supérieure à T, c'est-à-dire qu'avec des degrés de liberté soit supérieure à T. ${\style d'affichage m-1}$${\displaystyle \chi ^{2}}$${\style d'affichage m-1}$

Nous avons ainsi montré qu'à la limite où la distribution du chi de Pearson se rapproche de la distribution du chi avec des degrés de liberté. ${\displaystyle n\to \infty ,}$${\style d'affichage m-1}$