Régression non paramétrique - Nonparametric regression
Partie d'une série sur |
Analyse de régression |
---|
Des modèles |
Estimation |
Contexte |
La régression non paramétrique est une catégorie d' analyse de régression dans laquelle le prédicteur ne prend pas une forme prédéterminée mais est construit en fonction des informations dérivées des données. Autrement dit, aucune forme paramétrique n'est supposée pour la relation entre les prédicteurs et la variable dépendante. La régression non paramétrique nécessite des échantillons de plus grande taille que la régression basée sur des modèles paramétriques car les données doivent fournir la structure du modèle ainsi que les estimations du modèle.
Définition
Dans la régression non paramétrique, nous avons des variables aléatoires et et supposons que la relation suivante:
où est une fonction déterministe. La régression linéaire est un cas restreint de régression non paramétrique où on suppose qu'elle est affine. Certains auteurs utilisent une hypothèse légèrement plus forte du bruit additif:
où la variable aléatoire est le «terme de bruit», avec une moyenne de 0. Sans l'hypothèse qui appartient à une famille paramétrique spécifique de fonctions, il est impossible d'obtenir une estimation sans biais , cependant la plupart des estimateurs sont cohérents dans des conditions appropriées.
Liste des algorithmes de régression non paramétriques à usage général
Il s'agit d'une liste non exhaustive d'algorithmes adaptés aux problèmes de régression non paramétrique.
- voisins les plus proches, voir l' interpolation du plus proche voisin et k plus proches voisins algorithme
- arbres de régression
- régression du noyau
- régression locale
- splines de régression adaptative multivariée
- les réseaux de neurones
- régression vectorielle de soutien
- lissage des cannelures
Exemples
Régression de processus gaussien ou krigeage
Dans la régression de processus gaussien, également appelée krigeage, un a priori gaussien est supposé pour la courbe de régression. Les erreurs sont supposées avoir une distribution normale multivariée et la courbe de régression est estimée par son mode postérieur . Le prieur gaussien peut dépendre d'hyperparamètres inconnus, qui sont généralement estimés via Bayes empiriques . Les hyperparamètres spécifient généralement un noyau de covariance préalable. Si le noyau doit également être déduit de manière non paramétrique à partir des données, le filtre critique peut être utilisé.
Les splines de lissage ont une interprétation comme le mode postérieur d'une régression de processus gaussien.
Régression du noyau
La régression du noyau estime la variable dépendante continue à partir d'un ensemble limité de points de données en convoluant les emplacements des points de données avec une fonction de noyau - de manière approximative, la fonction de noyau spécifie comment «brouiller» l'influence des points de données de sorte que leurs valeurs puissent être utilisé pour prédire la valeur des emplacements à proximité.
Arbres de régression
Des algorithmes d'apprentissage d'arbre de décision peuvent être appliqués pour apprendre à prédire une variable dépendante à partir de données. Bien que la formulation originale de l'arbre de classification et de régression (CART) ne s'appliquait qu'à la prédiction de données univariées, le cadre peut être utilisé pour prédire des données multivariées, y compris des séries chronologiques.
Voir également
- Lasso (statistiques)
- Régression locale
- Statistiques non paramétriques
- Régression semi-paramétrique
- Régression isotonique
- Splines de régression adaptative multivariée
Références
Lectures complémentaires
- Bowman, AW; Azzalini, A. (1997). Techniques de lissage appliquées pour l'analyse des données . Oxford: Clarendon Press. ISBN 0-19-852396-3 .
- Fan, J .; Gijbels, I. (1996). Modélisation polynomiale locale et ses applications . Boca Raton: Chapman et Hall. ISBN 0-412-98321-4 .
- Henderson, DJ; Parmètre, CF (2015). Économétrie non paramétrique appliquée . New York: Cambridge University Press. ISBN 978-1-107-01025-3 .
- Li, Q .; Racine, J. (2007). Économétrie non paramétrique: théorie et pratique . Princeton: Presses universitaires de Princeton. ISBN 978-0-691-12161-1 .
- Pagan, A .; Ullah, A. (1999). Econométrie non paramétrique . New York: Cambridge University Press. ISBN 0-521-35564-8 .
Liens externes
- HyperNiche, logiciel de régression multiplicative non paramétrique .
- Régression non paramétrique adaptative à l'échelle (avec le logiciel Matlab).