Fonction caractéristique (théorie des probabilités) - Characteristic function (probability theory)

La fonction caractéristique d'une variable aléatoire uniforme U (–1,1). Cette fonction est à valeur réelle car elle correspond à une variable aléatoire symétrique autour de l'origine ; cependant, les fonctions caractéristiques peuvent généralement être à valeur complexe.

Dans la théorie des probabilités et les statistiques , la fonction caractéristique de toute variable aléatoire à valeur réelle définit complètement sa distribution de probabilité . Si une variable aléatoire admet une fonction de densité de probabilité , alors la fonction caractéristique est la transformée de Fourier de la fonction de densité de probabilité. Ainsi, il fournit une voie alternative aux résultats analytiques par rapport au travail direct avec des fonctions de densité de probabilité ou des fonctions de distribution cumulative. Il existe des résultats particulièrement simples pour les fonctions caractéristiques des distributions définies par les sommes pondérées des variables aléatoires.

En plus des distributions univariées , des fonctions caractéristiques peuvent être définies pour des variables aléatoires vectorielles ou matricielles, et peuvent également être étendues à des cas plus génériques.

La fonction caractéristique existe toujours lorsqu'elle est traitée en fonction d'un argument à valeur réelle, contrairement à la fonction génératrice de moment . Il existe des relations entre le comportement de la fonction caractéristique d'une distribution et des propriétés de la distribution, telles que l'existence de moments et l'existence d'une fonction de densité.

introduction

La fonction caractéristique fournit une autre façon de décrire une variable aléatoire . Similaire à la fonction de distribution cumulative ,

(où 1 { X ≤ x } est la fonction indicatrice — elle est égale à 1 lorsque X ≤ x , et à zéro sinon), qui détermine complètement le comportement et les propriétés de la distribution de probabilité de la variable aléatoire X . La fonction caractéristique ,

détermine également complètement le comportement et les propriétés de la distribution de probabilité de la variable aléatoire X . Les deux approches sont équivalentes en ce sens que connaissant l'une des fonctions, il est toujours possible de trouver l'autre, mais elles fournissent des informations différentes pour comprendre les caractéristiques de la variable aléatoire. De plus, dans des cas particuliers, il peut y avoir des différences quant à savoir si ces fonctions peuvent être représentées comme des expressions impliquant des fonctions standard simples.

Si une variable aléatoire admet une fonction de densité , alors la fonction caractéristique est son dual , au sens où chacune d'elles est une transformée de Fourier de l'autre. Si une variable aléatoire a une fonction génératrice de moment , alors le domaine de la fonction caractéristique peut être étendu au plan complexe, et

Notez cependant que la fonction caractéristique d'une distribution existe toujours, même lorsque la fonction de densité de probabilité ou la fonction génératrice de moment n'existe pas.

L'approche par fonction caractéristique est particulièrement utile dans l'analyse de combinaisons linéaires de variables aléatoires indépendantes : une preuve classique du théorème central limite utilise des fonctions caractéristiques et le théorème de continuité de Lévy . Une autre application importante est la théorie de la décomposabilité des variables aléatoires.

Définition

Pour une variable aléatoire scalaire X la fonction caractéristique est définie comme la valeur attendue de e ITX , où i est l' unité imaginaire , et tR est l'argument de la fonction caractéristique:

Ici F X est la fonction de distribution cumulative de X , et l'intégrale est du genre Riemann–Stieltjes . Si une variable aléatoire X a une fonction de densité de probabilité f X , alors la fonction caractéristique est sa transformée de Fourier avec inversion de signe dans l'exponentielle complexe, et la dernière formule entre parenthèses est valide. Q X ( p ) est la fonction de distribution cumulative inverse de X également appelée fonction quantile de X . Cette convention pour les constantes apparaissant dans la définition de la fonction caractéristique diffère de la convention habituelle pour la transformée de Fourier. Par exemple, certains auteurs définissent φ X ( t ) = E e −2 πitX , qui est essentiellement un changement de paramètre. D'autres notations peuvent être rencontrées dans la littérature : comme la fonction caractéristique pour une mesure de probabilité p , ou comme la fonction caractéristique correspondant à une densité f .

Généralisations

La notion de fonctions caractéristiques se généralise aux variables aléatoires multivariées et aux éléments aléatoires plus compliqués . L'argument de la fonction caractéristique appartiendra toujours au dual continu de l'espace où la variable aléatoire X prend ses valeurs. Pour les cas courants, ces définitions sont énumérées ci-dessous :

où est la transposée du vecteur   ,
où est l' opérateur trace ,
où est le complexe conjugué de  et est la partie réelle du nombre complexe ,
où est la transposée conjuguée du vecteur   ,
  • Si X ( s ) est un processus stochastique , alors pour toutes les fonctions t ( s ) telles que l' intégrale converge pour presque toutes les réalisations de X

Exemples

Distribution Fonction caractéristique φ ( t )
Dégénérée δ a
Bernoulli Berne( p )
Binôme B( n, p )
Binôme négatif NB( r, p )
Poisson Pois(λ)
Uniforme (continu) U( a, b )
Uniforme (discret) DU( a, b )
Laplace L( , b )
N normal ( , 2 )
Chi carré χ 2 k
Cauchy C( , )
Gamma ( k, )
Exp exponentielle ( λ )
Géométrique Gf( p )
(nombre d'échecs)
Gt( p ) géométrique
(nombre d'essais)
Multivariée normale N ( μ , Σ )
Multivariée Cauchy MultiCauchy ( μ , Σ )

Oberhettinger (1973) fournit des tableaux détaillés de fonctions caractéristiques.

Propriétés

  • La fonction caractéristique d'une variable aléatoire à valeur réelle existe toujours, puisqu'elle est une intégrale d'une fonction continue bornée sur un espace dont la mesure est finie.
  • Une fonction caractéristique est uniformément continue sur tout l'espace
  • Il est non nul dans une région autour de zéro : φ(0) = 1.
  • Il est borné : |φ( t )| 1.
  • C'est hermitien : φ(− t ) = φ( t ) . En particulier, la fonction caractéristique d'une variable aléatoire symétrique (autour de l'origine) est à valeur réelle et paire .
  • Il existe une bijection entre les distributions de probabilité et les fonctions caractéristiques. Autrement dit, pour deux variables aléatoires X 1 , X 2 , les deux ont la même distribution de probabilité si et seulement si .
  • Si une variable aléatoire X a des moments jusqu'au k -ième ordre, alors la fonction caractéristique φ X est k fois continûment dérivable sur toute la ligne réelle. Dans ce cas
  • Si une fonction caractéristique X a une dérivée k -ième à zéro, alors la variable aléatoire X a tous les moments jusqu'à k si k est pair, mais seulement jusqu'à k – 1 si k est impair.
  • Si X 1 , ..., X n sont des variables aléatoires indépendantes, et a 1 , ..., a n sont des constantes, alors la fonction caractéristique de la combinaison linéaire des X i est
Un cas particulier est la somme de deux variables aléatoires indépendantes X 1 et X 2 auquel cas on a
  • Le comportement de queue de la fonction caractéristique détermine la régularité de la fonction de densité correspondante.
  • Soit la variable aléatoire la transformation linéaire d'une variable aléatoire . La fonction caractéristique de est . Pour les vecteurs aléatoires et (où A est une matrice constante et B un vecteur constant), nous avons .

Continuité

La bijection énoncée ci-dessus entre les distributions de probabilité et les fonctions caractéristiques est séquentiellement continue . Autrement dit, chaque fois qu'une séquence de fonctions de distribution F j ( x ) converge (faiblement) vers une certaine distribution F ( x ), la séquence correspondante de fonctions caractéristiques φ j ( t ) convergera également, et la limite φ( t ) correspondra à la fonction caractéristique de la loi F . Plus formellement, cela est indiqué comme

Théorème de continuité de Lévy : Une suite X j devariables aléatoires n -variées converge en distribution vers la variable aléatoire X si et seulement si la suite φ X j converge ponctuellement vers une fonction φ qui est continue à l'origine. Où est la fonction caractéristique de X .

Ce théorème peut être utilisé pour prouver la loi des grands nombres et le théorème central limite .

Formules d'inversion

Il existe une correspondance biunivoque entre les fonctions de distribution cumulative et les fonctions caractéristiques, il est donc possible de trouver l'une de ces fonctions si l'on connaît l'autre. La formule dans la définition de la fonction caractéristique nous permet de calculer φ lorsque nous connaissons la fonction de distribution F (ou densité f ). Si, d'autre part, nous connaissons la fonction caractéristique φ et voulons trouver la fonction de distribution correspondante, alors l'un des théorèmes d'inversion suivants peut être utilisé.

Théorème . Si la fonction caractéristique φ X d'une variable aléatoire X est intégrable , alors F X est absolument continue, et donc X a une fonction de densité de probabilité . Dans le cas univarié (c'est-à-dire lorsque X est à valeur scalaire), la fonction de densité est donnée par

Dans le cas multivarié, c'est

où est le produit scalaire.

Le pdf est la dérivée de Radon–Nikodym de la distribution μ X par rapport à la mesure de Lebesgue λ :

Théorème (Lévy) . Si φ X est fonction caractéristique de la fonction de distribution F X , deux points a  <  b sont tels que { x | a < x < b } est un ensemble de continuité de μ X (dans le cas univarié cette condition est équivalente à la continuité de F X aux points a et b ), alors

  • Si X est scalaire :
Cette formule peut être reformulée sous une forme plus pratique pour le calcul numérique comme
Pour une variable aléatoire bornée par le bas, on peut obtenir en prenant tel que Sinon, si une variable aléatoire n'est pas bornée par le dessous, la limite pour donne , mais est numériquement impraticable.
  • Si X est une variable aléatoire vectorielle :

Théorème . Si a est (éventuellement) un atome de X (dans le cas univarié cela signifie un point de discontinuité de F X ) alors

  • Si X est scalaire :
  • Si X est une variable aléatoire vectorielle :

Théorème (Gil-Pelaez) . Pour une variable aléatoire univariée X , si x est un point de continuité de F X alors

où la partie imaginaire d'un nombre complexe est donnée par .

L'intégrale peut ne pas être Lebesgue-intégrable ; par exemple, lorsque X est la variable aléatoire discrète qui est toujours 0, elle devient l' intégrale de Dirichlet .

Des formules d'inversion pour les distributions multivariées sont disponibles.

Critères pour les fonctions caractéristiques

L'ensemble de toutes les fonctions caractéristiques est fermé sous certaines opérations :

  • Une combinaison linéaire convexe (avec ) d'un nombre fini ou dénombrable de fonctions caractéristiques est également une fonction caractéristique.
  • Le produit d'un nombre fini de fonctions caractéristiques est aussi une fonction caractéristique. Il en est de même pour un produit infini pourvu qu'il converge vers une fonction continue à l'origine.
  • Si φ est une fonction caractéristique et α est un nombre réel, alors , Re( φ ), | & phiv | 2 , et φ ( aT ) sont également des fonctions caractéristiques.

Il est bien connu que toute fonction càdlàg non décroissante F avec des limites F (−∞) = 0, F (+∞) = 1 correspond à une fonction de distribution cumulative d'une variable aléatoire. Il y a aussi intérêt à trouver des critères de simples similaires pour quand une fonction donnée φ pourrait être la fonction caractéristique d'une variable aléatoire. Le résultat central ici est le théorème de Bochner , bien que son utilité soit limitée car la condition principale du théorème, la définition non négative , est très difficile à vérifier. D'autres théorèmes existent également, comme ceux de Khinchine, de Mathias ou de Cramér, bien que leur application soit tout aussi difficile. Le théorème de Pólya, d'autre part, fournit une condition de convexité très simple qui est suffisante mais pas nécessaire. Les fonctions caractéristiques qui satisfont à cette condition sont appelées de type Pólya.

Le théorème de Bochner . Une fonction arbitraire φ  : R n C est la fonction caractéristique d'une variable aléatoire si et seulement si φ est définie positive , continue à l'origine, et si φ (0) = 1.

Le critère de Khinchine . Une valeur complexe, fonction absolument continue φ , avec φ (0) = 1, est une fonction caractéristique si et seulement si elle admet la représentation

Théorème de Mathias . Une fonction réelle, paire, continue, absolument intégrable φ , avec φ (0) = 1, est une fonction caractéristique si et seulement si

pour n = 0,1,2,..., et tout p > 0. Ici H 2 n désigne le polynôme d'Hermite de degré 2 n .

Le théorème de Pólya peut être utilisé pour construire un exemple de deux variables aléatoires dont les fonctions caractéristiques coïncident sur un intervalle fini mais sont différentes ailleurs.

Le théorème de Pólya . Si est une fonction continue paire à valeur réelle qui satisfait les conditions

  • ,
  • est convexe pour ,
  • ,

alors φ ( t ) est la fonction caractéristique d'une distribution absolument continue symétrique autour de 0.

Les usages

En raison du théorème de continuité , les fonctions caractéristiques sont utilisées dans la démonstration la plus fréquente du théorème central limite . La principale technique utilisée pour effectuer des calculs avec une fonction caractéristique consiste à reconnaître la fonction comme la fonction caractéristique d'une distribution particulière.

Manipulations de base des distributions

Fonctions caractéristiques sont particulièrement utiles pour traiter des fonctions linéaires de indépendantes variables aléatoires. Par exemple, si X 1 , X 2 , ..., X n est une séquence de variables aléatoires indépendantes (et pas nécessairement distribuées de manière identique), et

où les a i sont des constantes, alors la fonction caractéristique pour S n est donnée par

En particulier, φ X + Y ( t ) = φ X ( t ) φ Y ( t ) . Pour voir cela, écrivez la définition de la fonction caractéristique :

L'indépendance de X et Y est requise pour établir l'égalité des troisième et quatrième expressions.

Un autre cas particulier intéressant pour les variables aléatoires distribuées de manière identique est lorsque a i = 1/ n et que S n est la moyenne de l'échantillon. Dans ce cas, en écrivant X pour la moyenne,

Des moments

Les fonctions caractéristiques peuvent également être utilisées pour trouver des moments d'une variable aléatoire. A condition que le n ième moment existe, la fonction caractéristique peut être différenciée n fois et

Par exemple, supposons que X ait une distribution de Cauchy standard . Alors φ X ( t ) = e −| t | . Ceci n'est pas dérivable à t = 0, ce qui montre que la distribution de Cauchy n'a pas d' espérance . De plus, la fonction caractéristique de la moyenne de l'échantillon X de n observations indépendantes a une fonction caractéristique φ X ( t ) = ( e −| t |/ n ) n = e −| t | , en utilisant le résultat de la section précédente. C'est la fonction caractéristique de la distribution standard de Cauchy : ainsi, la moyenne de l'échantillon a la même distribution que la population elle-même.

Comme autre exemple, supposons que X suive une distribution gaussienne, c'est-à-dire . Puis et

Un calcul similaire montre et est plus facile à réaliser que d'appliquer la définition de l'espérance et d'utiliser l'intégration par parties pour évaluer .

Le logarithme d'une fonction caractéristique est une fonction génératrice de cumulant , qui est utile pour trouver des cumulants ; certains définissent plutôt la fonction génératrice de cumulant comme le logarithme de la fonction génératrice de moment , et appellent le logarithme de la fonction caractéristique la deuxième fonction génératrice de cumulant.

L'analyse des données

Les fonctions caractéristiques peuvent être utilisées dans le cadre de procédures d'ajustement des distributions de probabilité à des échantillons de données. Les cas où cela offre une option praticable par rapport à d'autres possibilités incluent l'ajustement de la distribution stable car les expressions de forme fermée pour la densité ne sont pas disponibles, ce qui rend difficile la mise en œuvre de l' estimation du maximum de vraisemblance . Il existe des procédures d'estimation qui font correspondre la fonction caractéristique théorique à la fonction caractéristique empirique , calculée à partir des données. Paulson et al. (1975) et Heathcote (1977) fournissent quelques éléments théoriques pour une telle procédure d'estimation. De plus, Yu (2004) décrit des applications de fonctions caractéristiques empiriques pour ajuster des modèles de séries chronologiques où les procédures de vraisemblance ne sont pas pratiques. Des fonctions caractéristiques empiriques ont également été utilisées par Ansari et al. (2020) et Li et al. (2020) pour la formation de réseaux accusatoires génératifs .

Exemple

La distribution gamma avec le paramètre d'échelle et un paramètre de forme k a la fonction caractéristique

Supposons maintenant que nous ayons

avec X et Y indépendants les uns des autres, et nous voulons savoir ce que la distribution de X + Y est. Les fonctions caractéristiques sont

qui par indépendance et les propriétés de base de la fonction caractéristique conduit à

Ceci est la fonction caractéristique du paramètre d'échelle distribution gamma θ et le paramètre de forme k 1 + k 2 , et par conséquent , nous concluons

Le résultat peut être étendu à n variables aléatoires distribuées gamma indépendantes avec le même paramètre d'échelle et nous obtenons

Fonctions caractéristiques entières

Comme défini ci-dessus, l'argument de la fonction caractéristique est traité comme un nombre réel : cependant, certains aspects de la théorie des fonctions caractéristiques sont avancés en étendant la définition au plan complexe par suite analytique , dans les cas où cela est possible.

Concepts associés

Les concepts connexes incluent la fonction génératrice de moment et la fonction génératrice de probabilité . La fonction caractéristique existe pour toutes les distributions de probabilité. Ce n'est pas le cas pour la fonction génératrice de moments.

La fonction caractéristique est étroitement liée à la transformée de Fourier : la fonction caractéristique d'une fonction de densité de probabilité p ( x ) est le conjugué complexe de la transformée de Fourier continue de p ( x ) (selon la convention habituelle ; voir transformée de Fourier continue - autre convention ).

P ( t ) désigne la transformée de Fourier continue de la fonction de densité de probabilité p ( x ). De même, p ( x ) peut être récupéré à partir de φ X ( t ) via la transformée de Fourier inverse :

En effet, même lorsque la variable aléatoire n'a pas de densité, la fonction caractéristique peut être vue comme la transformée de Fourier de la mesure correspondant à la variable aléatoire.

Un autre concept connexe est la représentation des distributions de probabilité en tant qu'éléments d'un espace de Hilbert à noyau reproduisant via l' incorporation de noyaux de distributions . Ce cadre peut être vu comme une généralisation de la fonction caractéristique sous des choix spécifiques de la fonction noyau .

Voir également

  • La sous-indépendance , une condition plus faible que l'indépendance, qui est définie en termes de fonctions caractéristiques.
  • Cumulant , terme des fonctions génératrices de cumulant , qui sont des logs des fonctions caractéristiques.

Remarques

Les références

Citations

Sources

Liens externes