Indépendance (théorie des probabilités) - Independence (probability theory)

L'indépendance est une notion fondamentale en théorie des probabilités , comme en statistique et en théorie des processus stochastiques .

Deux événements sont indépendants , statistiquement indépendants ou stochastiquement indépendants si l'occurrence de l'un n'affecte pas la probabilité d'occurrence de l'autre (de manière équivalente, n'affecte pas les probabilités ). De même, deux variables aléatoires sont indépendantes si la réalisation de l'une n'affecte pas la distribution de probabilité de l'autre.

Lorsqu'il s'agit de collections de plus de deux événements, il faut distinguer une notion faible et forte d'indépendance. Les événements sont appelés indépendants par paire si deux événements de la collection sont indépendants l'un de l'autre, tout en disant que les événements sont mutuellement indépendants (ou collectivement indépendants ) signifie intuitivement que chaque événement est indépendant de toute combinaison d'autres événements de la collection. Une notion similaire existe pour les collections de variables aléatoires.

L'appellation "indépendance mutuelle" (identique à "indépendance collective") semble le résultat d'un choix éducatif, simplement pour distinguer la notion la plus forte de "l'indépendance par paire" qui est une notion plus faible. Dans la littérature avancée sur la théorie des probabilités, les statistiques et les processus stochastiques, la notion la plus forte est simplement appelée indépendance sans modificateur. Il est plus fort puisque l'indépendance implique l'indépendance par paires, mais pas l'inverse.

Définition

Pour les événements

Deux événements

Deux événements et sont indépendants (souvent écrits par ou ) si et seulement si leur probabilité conjointe est égale au produit de leurs probabilités :

 

 

 

 

( Éq.1 )

Pourquoi cela définit l'indépendance est rendu clair en réécrivant avec des probabilités conditionnelles :

et pareillement

Ainsi, l'occurrence de n'affecte pas la probabilité de , et vice versa. Bien que les expressions dérivées puissent sembler plus intuitives, elles ne sont pas la définition préférée, car les probabilités conditionnelles peuvent être indéfinies si ou sont égales à 0. De plus, la définition préférée indique clairement par symétrie que quand est indépendant de , est également indépendant de .

Log probabilité et contenu de l'information

Exprimé en termes de probabilité de log , deux événements sont indépendants si et seulement si la probabilité de log de l'événement conjoint est la somme de la probabilité de log des événements individuels :

Dans la théorie de l'information , la probabilité de log négative est interprétée comme un contenu d'information , et donc deux événements sont indépendants si et seulement si le contenu d'information de l'événement combiné est égal à la somme du contenu d'information des événements individuels :

Voir Contenu de l'information § Additivité d'événements indépendants pour plus de détails.

Chances

Exprimé en termes de cotes , deux événements sont indépendants si et seulement si le rapport de cotes de et est égal à l'unité (1). De manière analogue à la probabilité, cela équivaut à la cote conditionnelle égale à la cote inconditionnelle :

ou à la cote d'un événement, étant donné que l'autre événement, étant la même que la cote de l'événement, étant donné que l'autre événement ne se produit pas :

Le rapport de cotes peut être défini comme

ou symétriquement pour les chances de donné , et est donc 1 si et seulement si les événements sont indépendants.

Plus de deux événements

Un ensemble fini d'événements est indépendant par paires si chaque paire d'événements est indépendante, c'est-à-dire si et seulement si pour toutes les paires d'indices distinctes ,

 

 

 

 

( Éq.2 )

Un ensemble fini d'événements est mutuellement indépendante si chaque événement est indépendant de toute intersection des autres événements- à- dire si et seulement si pour tout et pour chaque sous - ensemble d'événements -Element de ,

 

 

 

 

( Éq.3 )

C'est ce qu'on appelle la règle de multiplication pour les événements indépendants. Notez qu'il ne s'agit pas d'une condition unique impliquant uniquement le produit de toutes les probabilités de tous les événements uniques ; il doit être vrai pour tous les sous-ensembles d'événements.

Pour plus de deux événements, un ensemble d'événements mutuellement indépendants est (par définition) deux à deux indépendants ; mais l'inverse n'est pas nécessairement vrai .

Pour les variables aléatoires à valeur réelle

Deux variables aléatoires

Deux variables aléatoires et sont indépendantes si et seulement si (si ssi) les éléments du -système générés par elles sont indépendants ; c'est-à-dire, pour tout et , les événements et sont des événements indépendants (tels que définis ci-dessus dans l' Eq.1 ). Autrement dit, et avec les fonctions de distribution cumulative et , sont indépendantes si la variable aléatoire combinée a une fonction de distribution cumulative conjointe

 

 

 

 

( Éq.4 )

ou de manière équivalente, si les densités de probabilité et et la densité de probabilité conjointe existent,

Plus de deux variables aléatoires

Un ensemble fini de variables aléatoires est indépendant par paire si et seulement si chaque paire de variables aléatoires est indépendante. Même si l'ensemble de variables aléatoires est indépendant par paire, il n'est pas nécessairement mutuellement indépendant comme défini ci-après.

Un ensemble fini de variables aléatoires est mutuellement indépendant si et seulement si pour toute séquence de nombres , les événements sont des événements mutuellement indépendants (tels que définis ci-dessus dans l' équation 3 ). Ceci est équivalent à la condition suivante sur la fonction de distribution cumulée conjointe . Un ensemble fini de variables aléatoires est mutuellement indépendant si et seulement si

 

 

 

 

( Éq.5 )

Notez qu'il n'est pas nécessaire ici d'exiger que la distribution de probabilité se factorise pour tous les sous-ensembles d' éléments possibles comme dans le cas des événements. Ceci n'est pas obligatoire car, par exemple, implique .

La mesure-théoriquement inclinée peut préférer substituer des événements aux événements dans la définition ci-dessus, où est un ensemble de Borel . Cette définition est exactement équivalente à celle ci-dessus lorsque les valeurs des variables aléatoires sont des nombres réels . Il a l'avantage de fonctionner aussi pour des variables aléatoires à valeurs complexes ou pour des variables aléatoires prenant des valeurs dans n'importe quel espace mesurable (qui inclut des espaces topologiques dotés de σ-algèbres appropriées).

Pour les vecteurs aléatoires à valeur réelle

Deux vecteurs aléatoires et sont dits indépendants si

 

 

 

 

( Éq.6 )

où et désignent les fonctions de distribution cumulative de et et désignent leur fonction de distribution cumulative conjointe. L'indépendance de et est souvent désignée par . Écrit au niveau des composants, et sont appelés indépendants si

Pour les processus stochastiques

Pour un processus stochastique

La définition de l'indépendance peut être étendue des vecteurs aléatoires à un processus stochastique . Par conséquent, il est nécessaire pour un processus stochastique indépendant que les variables aléatoires obtenues en échantillonnant le processus à tout moment soient des variables aléatoires indépendantes pour tout .

Formellement, un processus stochastique est dit indépendant, si et seulement si pour tous et pour tous

 

 

 

 

( Éq.7 )

. L'indépendance d'un processus stochastique est une propriété au sein d' un processus stochastique, et non entre deux processus stochastiques.

Pour deux processus stochastiques

L'indépendance de deux processus stochastiques est une propriété entre deux processus stochastiques et qui sont définis sur le même espace de probabilité . Formellement, deux processus stochastiques et sont dits indépendants si pour tout et pour tout , les vecteurs aléatoires et sont indépendants, c'est-à-dire si

 

 

 

 

( Éq.8 )

-algèbres indépendantes

Les définitions ci-dessus ( Eq.1 et Eq.2 ) sont toutes deux généralisées par la définition suivante de l'indépendance pour les -algèbres . Soit un espace de probabilité et soit et deux sous-σ-algèbres de . et sont dits indépendants si, à chaque fois que et ,

De même, une famille finie de -algèbres , où est un ensemble d'indices , est dite indépendante si et seulement si

et une famille infinie de -algèbres est dite indépendante si toutes ses sous-familles finies sont indépendantes.

La nouvelle définition se rapporte très directement aux précédentes :

  • Deux événements sont indépendants (au sens ancien) si et seulement si les -algèbres qu'ils génèrent sont indépendantes (au sens nouveau). La -algèbre générée par un événement est, par définition,
  • Deux variables aléatoires et définies sur sont indépendantes (au sens ancien) si et seulement si les -algèbres qu'elles génèrent sont indépendantes (au sens nouveau). La -algèbre générée par une variable aléatoire prenant des valeurs dans un espace mesurable consiste, par définition, en tous les sous-ensembles de de la forme , où est tout sous-ensemble mesurable de .

En utilisant cette définition, il est facile de montrer que si et sont des variables aléatoires et est constant, alors et sont indépendants, puisque la -algèbre générée par une variable aléatoire constante est la σ-algèbre triviale . Les événements de probabilité zéro ne peuvent pas affecter l'indépendance, donc l'indépendance est également valable si seulement Pr- est presque sûrement constant.

Propriétés

Auto-indépendance

Notez qu'un événement est indépendant de lui-même si et seulement si

Ainsi un événement est indépendant de lui-même si et seulement s'il se produit presque sûrement ou si son complément se produit presque sûrement ; ce fait est utile pour prouver les lois zéro-un .

Attente et covariance

Si et sont des variables aléatoires indépendantes, alors l' opérateur d'espérance a la propriété

et la covariance est nulle, comme suit de

L'inverse n'est pas vrai : si deux variables aléatoires ont une covariance de 0, elles peuvent toujours ne pas être indépendantes. Voir non corrélé .

De même pour deux processus stochastiques et : S'ils sont indépendants, alors ils ne sont pas corrélés.

Fonction caractéristique

Deux variables aléatoires et sont indépendantes si et seulement si la fonction caractéristique du vecteur aléatoire satisfait

En particulier la fonction caractéristique de leur somme est le produit de leurs fonctions caractéristiques marginales :

bien que l'implication inverse ne soit pas vraie. Les variables aléatoires qui satisfont à cette dernière condition sont appelées sous- indépendantes .

Exemples

Lancer les dés

L'événement d'obtenir un 6 la première fois qu'un dé est lancé et l'événement d'obtenir un 6 la deuxième fois sont indépendants . En revanche, l'événement d'obtenir un 6 la première fois qu'un dé est lancé et l'événement où la somme des nombres vus sur le premier et le deuxième essai est 8 ne sont pas indépendants.

Cartes à dessiner

Si deux cartes sont tirées avec remise dans un jeu de cartes, l'événement de tirage d'un carton rouge au premier essai et celui de tirage d'un carton rouge au deuxième essai sont indépendants . En revanche, si deux cartes sont tirées sans remise dans un jeu de cartes, l'événement de tirer un carton rouge au premier essai et celui de tirer un carton rouge au deuxième essai ne sont pas indépendants, car un jeu qui a eu un carte retirée a proportionnellement moins de cartons rouges.

Indépendance par paires et mutuelle

Événements indépendants par paire, mais pas mutuellement indépendants.
Événements mutuellement indépendants.

Considérez les deux espaces de probabilité indiqués. Dans les deux cas, et . Les variables aléatoires du premier espace sont indépendantes par paires car , , et ; mais les trois variables aléatoires ne sont pas mutuellement indépendantes. Les variables aléatoires dans le second espace sont à la fois indépendantes par paires et mutuellement indépendantes. Pour illustrer la différence, considérons le conditionnement sur deux événements. Dans le cas indépendant par paire, bien qu'un événement soit indépendant de chacun des deux autres individuellement, il n'est pas indépendant de l'intersection des deux autres :

Dans le cas mutuellement indépendant, cependant,

Indépendance mutuelle

Il est possible de créer un exemple à trois événements dans lequel

et pourtant, aucun des trois événements n'est indépendant par paire (et donc l'ensemble d'événements n'est pas indépendant l'un de l'autre). Cet exemple montre que l'indépendance mutuelle implique des exigences sur les produits de probabilités de toutes les combinaisons d'événements, et pas seulement sur les événements isolés comme dans cet exemple.

Indépendance conditionnelle

Pour les événements

Les événements et sont conditionnellement indépendants étant donné un événement lorsque

.

Pour les variables aléatoires

Intuitivement, deux variables aléatoires et sont conditionnellement indépendantes si, une fois connue, la valeur de n'ajoute aucune information supplémentaire sur . Par exemple, deux mesures et de la même quantité sous-jacente ne sont pas indépendantes, mais elles sont conditionnellement indépendantes étant donné (à moins que les erreurs dans les deux mesures ne soient liées d'une manière ou d'une autre).

La définition formelle de l'indépendance conditionnelle est basée sur l'idée de distributions conditionnelles . Si , , et sont des variables aléatoires discrètes , alors nous définissons et pour être conditionnellement indépendant étant donné si

pour tous , et tel que . D'autre part, si les variables aléatoires sont continues et ont une fonction de densité de probabilité conjointe , alors et sont conditionnellement indépendantes étant donné si

pour tous les nombres réels , et tel que .

Si discrets et conditionnellement indépendants étant donné , alors

pour tout , et avec . C'est-à-dire que la distribution conditionnelle pour donné et est la même que celle donnée seule. Une équation similaire est valable pour les fonctions de densité de probabilité conditionnelle dans le cas continu.

L'indépendance peut être considérée comme un type particulier d'indépendance conditionnelle, puisque la probabilité peut être considérée comme une sorte de probabilité conditionnelle en l'absence d'événements.

Voir également

Les références

Liens externes