Réponse moyenne et prévue - Mean and predicted response

Partie d'une série sur
Analyse de régression
Des modèles
Régression linéaire Régression simple Régression polynomiale Modèle linéaire général
Modèle linéaire généralisé Choix discret Régression binomiale Régression binaire Régression logistique Logit multinomial Logit mixte Probit Probit multinomial Logit commandé Probit commandé Poisson
Modèle à plusieurs niveaux Effets fixes Effets aléatoires Modèle linéaire à effets mixtes Modèle à effets mixtes non linéaire
Régression non linéaire Non paramétrique Semiparamétrique Robuste Quantile Isotonique Composants principaux Le moindre angle Local Segmenté
Erreurs dans les variables
Estimation
Moindres carrés Linéaire Non linéaire
Ordinaire Pondéré Généralisé
Partiel Total Non négatif Régression Ridge Régularisé
Moins d'écarts absolus Repondéré de manière itérative Bayésien Multivarié bayésien
Contexte
Validation de la régression Réponse moyenne et prédite Erreurs et résidus Qualité de l'ajustement Résidu étudiant Théorème de Gauss – Markov
Portail de mathématiques
v t e

Dans la régression linéaire , la réponse moyenne et la réponse prédite sont des valeurs de la variable dépendante calculées à partir des paramètres de régression et d'une valeur donnée de la variable indépendante. Les valeurs de ces deux réponses sont les mêmes, mais leurs variances calculées sont différentes.

Contexte

En montage en ligne droite, le modèle est

${\ displaystyle y_ {i} = \ alpha + \ beta x_ {i} + \ varepsilon _ {i} \,}$

où est la variable de réponse , est la variable explicative , ε _i est l'erreur aléatoire et et sont des paramètres. La valeur de réponse moyenne et prévue pour une valeur explicative donnée, x _d , est donnée par ${\ displaystyle y_ {i}}$${\ displaystyle x_ {i}}$${\ displaystyle \ alpha}$${\ displaystyle \ beta}$

${\ displaystyle {\ hat {y}} _ {d} = {\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d},}$

alors que la réponse réelle serait

${\ displaystyle y_ {d} = \ alpha + \ beta x_ {d} + \ varepsilon _ {d} \,}$

Les expressions des valeurs et des variances de et sont données en régression linéaire . ${\ displaystyle {\ hat {\ alpha}}}$${\ displaystyle {\ hat {\ beta}}}$

Réponse moyenne

Puisque les données dans ce contexte sont définies comme étant des paires ( x , y ) pour chaque observation, la réponse moyenne à une valeur donnée de x , disons x _d , est une estimation de la moyenne des valeurs y dans la population au x valeur de x _d , c'est-à-dire . La variance de la réponse moyenne est donnée par ${\ displaystyle {\ hat {E}} (y ​​\ mid x_ {d}) \ equiv {\ hat {y}} _ {d} \!}$

${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right) = \ operatorname {Var} \ left ({\ hat {\ alpha }} \ right) + \ left (\ operatorname {Var} {\ hat {\ beta}} \ right) x_ {d} ^ {2} + 2x_ {d} \ operatorname {Cov} \ left ({\ hat { \ alpha}}, {\ hat {\ beta}} \ right).}$

Cette expression peut être simplifiée en

${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right) = \ sigma ^ {2} \ left ({\ frac {1 } {m}} + {\ frac {\ left (x_ {d} - {\ bar {x}} \ right) ^ {2}} {\ sum (x_ {i} - {\ bar {x}}) ^ {2}}} \ right),}$

où m est le nombre de points de données.

Pour démontrer cette simplification, on peut utiliser l'identité

${\ displaystyle \ sum (x_ {i} - {\ bar {x}}) ^ {2} = \ sum x_ {i} ^ {2} - {\ frac {1} {m}} \ left (\ sum x_ {i} \ droite) ^ {2}.}$

Réponse prévue

La distribution de réponse prédite est la distribution prévue des résidus au point donné x _d . Donc la variance est donnée par

${\ displaystyle {\ begin {aligné} \ operatorname {Var} \ left (y_ {d} - \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ droite) & = \ nom_opérateur {Var} (y_ {d}) + \ nom_opérateur {Var} \ gauche ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ droite) -2 \ operatorname {Cov} \ left (y_ {d}, \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ right) \\ & = \ operatorname { Var} (y_ {d}) + \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right). \ End {aligné}}}$

La deuxième ligne découle du fait qu'il est égal à zéro car le nouveau point de prédiction est indépendant des données utilisées pour ajuster le modèle. De plus, le terme a été calculé plus tôt pour la réponse moyenne. ${\ displaystyle \ operatorname {Cov} \ left (y_ {d}, \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ right)}$${\ displaystyle \ operatorname {Var} \ left ({\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right)}$

Puisque (un paramètre fixe mais inconnu qui peut être estimé), la variance de la réponse prédite est donnée par ${\ displaystyle \ operatorname {Var} (y_ {d}) = \ sigma ^ {2}}$

${\ displaystyle {\ begin {aligné} \ operatorname {Var} \ left (y_ {d} - \ left [{\ hat {\ alpha}} + {\ hat {\ beta}} x_ {d} \ right] \ droite) & = \ sigma ^ {2} + \ sigma ^ {2} \ gauche ({\ frac {1} {m}} + {\ frac {\ gauche (x_ {d} - {\ bar {x}} \ right) ^ {2}} {\ sum (x_ {i} - {\ bar {x}}) ^ {2}}} \ right) \\ [4pt] & = \ sigma ^ {2} \ left ( 1 + {\ frac {1} {m}} + {\ frac {(x_ {d} - {\ bar {x}}) ^ {2}} {\ sum (x_ {i} - {\ bar {x }}) ^ {2}}} \ right). \ End {Aligné}}}$

Intervalles de confiance

Les intervalles de confiance sont calculés comme . Ainsi, l'intervalle de confiance pour la réponse prédite est plus large que l'intervalle pour la réponse moyenne. Ceci est attendu intuitivement - la variance de la population de valeurs ne diminue pas quand on en fait un échantillonnage, car la variable aléatoire ε _i ne diminue pas, mais la variance de la moyenne de la diminue avec un échantillonnage accru, car la variance de et diminuer, de sorte que la réponse moyenne (valeur de réponse prévue) se rapproche de . ${\ displaystyle 100 (1- \ alpha) \%}$${\ displaystyle y_ {d} \ pm t _ {{\ frac {\ alpha} {2}}, mn-1} {\ sqrt {\ operatorname {Var}}}}$${\ displaystyle y}$${\ displaystyle y}$${\ displaystyle {\ hat {\ alpha}}}$${\ displaystyle {\ hat {\ beta}}}$${\ displaystyle \ alpha + \ beta x_ {d}}$

Ceci est analogue à la différence entre la variance d'une population et la variance de la moyenne d'échantillon d'une population: la variance d'une population est un paramètre et ne change pas, mais la variance de la moyenne de l'échantillon diminue avec l'augmentation des échantillons.

Régression linéaire générale

Le modèle linéaire général peut être écrit comme

${\ displaystyle y_ {i} = \ sum _ {j = 1} ^ {n} X_ {ij} \ beta _ {j} + \ varepsilon _ {i} \,}$

Par conséquent, puisque l'expression générale de la variance de la réponse moyenne est ${\ displaystyle y_ {d} = \ sum _ {j = 1} ^ {n} X_ {dj} {\ hat {\ beta}} _ {j}}$

${\ displaystyle \ operatorname {Var} \ left (\ sum _ {j = 1} ^ {n} X_ {dj} {\ hat {\ beta}} _ {j} \ right) = \ sum _ {i = 1 } ^ {n} \ sum _ {j = 1} ^ {n} X_ {di} S_ {ij} X_ {dj},}$

où S est la matrice de covariance des paramètres, donnée par

${\ displaystyle \ mathbf {S} = \ sigma ^ {2} \ left (\ mathbf {X ^ {\ mathsf {T}} X} \ right) ^ {- 1}.}$

Les références

• Draper, NR; Smith, H. (1998). Analyse de régression appliquée (3e éd.). John Wiley. ISBN 0-471-17082-8.