Régression linéaire bayésienne - Bayesian linear regression

En statistique , la régression linéaire bayésienne est une approche de la régression linéaire dans laquelle l'analyse statistique est entreprise dans le contexte de l'inférence bayésienne . Lorsque le modèle de régression comporte des erreurs qui ont une distribution normale , et si une forme particulière de distribution antérieure est supposée, des résultats explicites sont disponibles pour les distributions de probabilité postérieures des paramètres du modèle.

Configuration du modèle

Considérons un problème de régression linéaire standard , dans lequel pour nous spécifions la moyenne de la distribution conditionnelle d' un vecteur prédicteur donné :

où est un vecteur, et les sont des variables aléatoires indépendantes et normalement distribuées de manière identique :

Cela correspond à la fonction de vraisemblance suivante :

La solution des moindres carrés ordinaires est utilisée pour estimer le vecteur de coefficient en utilisant la pseudo-inverse de Moore – Penrose :

où est la matrice de conception , dont chaque ligne est un vecteur prédictif ; et est la colonne -vector .

Il s'agit d'une approche fréquentiste , et elle suppose qu'il y a suffisamment de mesures pour dire quelque chose de significatif . Dans l' approche bayésienne , les données sont complétées par des informations supplémentaires sous la forme d'une distribution de probabilité préalable . La croyance antérieure sur les paramètres est combinée avec la fonction de vraisemblance des données selon le théorème de Bayes pour donner la croyance postérieure sur les paramètres et . Le prieur peut prendre différentes formes fonctionnelles selon le domaine et les informations disponibles a priori .

Avec priors conjugués

Distribution antérieure conjuguée

Pour une distribution a priori arbitraire, il se peut qu'il n'y ait pas de solution analytique pour la distribution postérieure . Dans cette section, nous considérerons un a priori dit conjugué pour lequel la distribution postérieure peut être dérivée analytiquement.

Un a priori est conjugué à cette fonction de vraisemblance s'il a la même forme fonctionnelle par rapport à et . Puisque la log-vraisemblance est quadratique dans , la log-vraisemblance est réécrite de telle sorte que la vraisemblance devienne normale dans . Écrivez

La probabilité est maintenant réécrite comme

où est le nombre de coefficients de régression.

Cela suggère une forme pour le prieur:

où est une distribution gamma inverse

Dans la notation introduite dans l' article sur la distribution gamma inverse , il s'agit de la densité d'une distribution avec et avec et comme valeurs antérieures de et , respectivement. De manière équivalente, il peut également être décrit comme une distribution chi-carré inverse mise à l'échelle ,

En outre, la densité préalable conditionnelle est une distribution normale ,

Dans la notation de la distribution normale , la distribution a priori conditionnelle est

Distribution postérieure

Avec l'antérieur maintenant spécifié, la distribution postérieure peut être exprimée comme

Avec un certain réarrangement, le postérieur peut être réécrit de sorte que la moyenne postérieure du vecteur de paramètres puisse être exprimée en termes de l'estimateur des moindres carrés et de la moyenne a priori , avec la force du a priori indiquée par la matrice de précision a priori

Pour justifier qu'il s'agit bien de la moyenne postérieure, les termes quadratiques de l'exponentiel peuvent être réarrangés comme une forme quadratique en .

Maintenant, le postérieur peut être exprimé comme une distribution normale multipliée par une distribution gamma inverse :

Par conséquent, la distribution postérieure peut être paramétrée comme suit.

où les deux facteurs correspondent aux densités et aux distributions, les paramètres de ceux-ci étant donnés par

Cela peut être interprété comme un apprentissage bayésien où les paramètres sont mis à jour selon les équations suivantes.

Preuve modèle

La preuve du modèle est la probabilité des données étant donné le modèle . Elle est également connue sous le nom de probabilité marginale et de densité prédictive antérieure . Ici, le modèle est défini par la fonction de vraisemblance et la distribution a priori sur les paramètres, ie . Les preuves du modèle saisissent en un seul chiffre dans quelle mesure un tel modèle explique les observations. Le modèle de preuve du modèle de régression linéaire bayésien présenté dans cette section peut être utilisé pour comparer des modèles linéaires concurrents par comparaison de modèles bayésiens . Ces modèles peuvent différer par le nombre et les valeurs des variables prédictives ainsi que par leurs a priori sur les paramètres du modèle. La complexité du modèle est déjà prise en compte par la preuve du modèle, car elle marginalise les paramètres en intégrant sur toutes les valeurs possibles de et .

Cette intégrale peut être calculée analytiquement et la solution est donnée dans l'équation suivante.

Désigne ici la fonction gamma . Parce que nous avons choisi un a priori conjugué, la vraisemblance marginale peut également être facilement calculée en évaluant l'égalité suivante pour des valeurs arbitraires de et .

Notez que cette équation n'est rien d'autre qu'un réarrangement du théorème de Bayes . L'insertion des formules pour le a priori, la vraisemblance et le postérieur et la simplification de l'expression résultante conduit à l'expression analytique donnée ci-dessus.

Autres cas

En général, il peut être impossible ou peu pratique de dériver analytiquement la distribution postérieure. Cependant, il est possible d'approcher le postérieur par une méthode d' inférence bayésienne approximative telle que l' échantillonnage de Monte Carlo ou Bayes variationnel .

Le cas particulier est appelé régression de crête .

Une analyse similaire peut être effectuée pour le cas général de la régression multivariée et une partie de celle-ci fournit une estimation bayésienne des matrices de covariance : voir Régression linéaire multivariée bayésienne .

Voir également

Remarques

Les références

  • Boîte, GEP ; Tiao, GC (1973). Inférence bayésienne dans l'analyse statistique . Wiley. ISBN   0-471-57428-7 .
  • Carlin, Bradley P .; Louis, Thomas A. (2008). Méthodes bayésiennes pour l'analyse des données, troisième édition . Boca Raton, FL: Chapman et Hall / CRC. ISBN   1-58488-697-8 .
  • Fahrmeir, L .; Kneib, T .; Lang, S. (2009). Régression. Modelle, Methoden und Anwendungen (deuxième éd.). Heidelberg: Springer. doi : 10.1007 / 978-3-642-01837-4 . ISBN   978-3-642-01836-7 .
  • Fornalski KW; Parzych G .; Pylak M .; Satuła D .; Dobrzyński L. (2010). "Application du raisonnement bayésien et de la méthode d'entropie maximale à certains problèmes de reconstruction" . Acta Physica Polonica A . 117 (6): 892–899. doi : 10.12693 / APhysPolA.117.892 .
  • Fornalski, Krzysztof W. (2015). "Applications de l'analyse de régression bayésienne robuste". Journal international de la science des systèmes de la société . 7 (4): 314–333. doi : 10.1504 / IJSSS.2015.073223 .
  • Gelman, Andrew ; Carlin, John B .; Stern, Hal S.; Rubin, Donald B. (2003). Analyse des données bayésiennes, deuxième édition . Boca Raton, FL: Chapman et Hall / CRC. ISBN   1-58488-388-X .
  • Goldstein, Michael; Wooff, David (2007). Statistiques linéaires de Bayes, théorie et méthodes . Wiley. ISBN   978-0-470-01562-9 .
  • Minka, Thomas P. (2001) Bayesian Linear Regression , page Web de recherche Microsoft
  • Rossi, Peter E .; Allenby, Greg M .; McCulloch, Robert (2006). Statistiques bayésiennes et marketing . John Wiley et fils. ISBN   0470863676 .
  • O'Hagan, Anthony (1994). Inférence bayésienne . Théorie avancée des statistiques de Kendall. 2B (première éd.). Halsted. ISBN   0-340-52922-9 .
  • Sivia, DS; Compétences, J. (2006). Analyse des données - Un tutoriel bayésien (deuxième éd.). Presse d'université d'Oxford.
  • Walter, Gero; Augustin, Thomas (2009). «Régression linéaire bayésienne - Différents modèles conjugués et leur (in) sensibilité au conflit de données antérieures» (PDF) . Rapport technique numéro 069, Département de statistique, Université de Munich .

Liens externes