Entropie de Rényi - Rényi entropy
En théorie de l'information , l' entropie de Rényi généralise l' entropie de Hartley , l' entropie de Shannon , l' entropie de collision et la min-entropie . Les entropies quantifient la diversité, l'incertitude ou le caractère aléatoire d'un système. L'entropie porte le nom d' Alfréd Rényi . Dans le cadre de l' estimation de dimension fractale , l'entropie de Rényi est à la base du concept de dimensions généralisées .
L'entropie Rényi est importante en écologie et en statistique comme indice de diversité . L'entropie de Rényi est également importante dans l'information quantique , où elle peut être utilisée comme mesure d' intrication . Dans le modèle de chaîne de spin Heisenberg XY, le Rényi entropie en fonction de α peut être calculé explicitement en vertu du fait qu'il est une fonction automorphic par rapport à un sous - groupe particulier du groupe modulaire . En informatique théorique , la min-entropie est utilisée dans le cadre des extracteurs d'aléatoire .
Définition
L'entropie d'ordre Rényi , où et , est définie comme
- .
Ici, est une variable aléatoire discrète avec des résultats possibles dans l'ensemble et des probabilités correspondantes pour . Le logarithme est classiquement pris en base 2, notamment dans le contexte de la théorie de l' information où l' on utilise des bits . Si les probabilités sont pour tout , alors toutes les entropies de Rényi de la distribution sont égales : . En général, pour toutes les variables aléatoires discrètes , est une fonction non croissante dans .
Les applications exploitent souvent la relation suivante entre l'entropie de Rényi et la p -norme du vecteur de probabilités :
- .
Ici, la distribution de probabilité discrète est interprétée comme un vecteur dans avec et .
L'entropie de Rényi pour tout est Schur concave .
Cas spéciaux
À mesure que α se rapproche de zéro, l'entropie de Rényi pèse de plus en plus tous les événements avec une probabilité non nulle de manière plus égale, quelles que soient leurs probabilités. A la limite pour α → 0, l'entropie de Rényi est juste le logarithme de la taille du support de X . La limite pour α → 1 est l' entropie de Shannon . À mesure que α tend vers l'infini, l'entropie de Rényi est de plus en plus déterminée par les événements de probabilité la plus élevée.
Hartley ou max-entropie
A condition que les probabilités soient différentes de zéro, est le logarithme de la cardinalité de l'alphabet ( ) de , parfois appelée l' entropie de Hartley de ,
Entropie de Shannon
La valeur limite de as α → 1 est l' entropie de Shannon :
Entropie de collision
L'entropie de collision , parfois simplement appelée « entropie de Rényi », fait référence au cas α = 2,
où X et Y sont indépendants et identiquement distribués . L'entropie de collision est liée à l' indice de coïncidence .
Min-entropie
A la limite as , l'entropie de Rényi converge vers la min-entropie :
De manière équivalente, la min-entropie est le plus grand nombre réel b tel que tous les événements se produisent avec une probabilité d'au plus .
Le nom min-entropie vient du fait qu'il s'agit de la plus petite mesure d'entropie de la famille des entropies de Rényi. En ce sens, c'est le moyen le plus efficace de mesurer le contenu informationnel d'une variable aléatoire discrète. En particulier, la min-entropie n'est jamais plus grande que l' entropie de Shannon .
La min-entropie a des applications importantes pour les extracteurs d'aléatoire en informatique théorique : les extracteurs sont capables d'extraire l'aléatoire à partir de sources aléatoires qui ont une grande min-entropie ; le simple fait d'avoir une grande entropie de Shannon ne suffit pas pour cette tâche.
Les inégalités entre les différentes valeurs de α
C'est non croissant pour une distribution donnée de probabilités , qui peut être prouvée par différentiation, comme
qui est proportionnel à la divergence de Kullback-Leibler (qui est toujours non négative), où .
Dans des cas particuliers, les inégalités peuvent aussi être prouvées par l'inégalité de Jensen :
Pour les valeurs de , les inégalités dans l'autre sens sont également valables. En particulier, nous avons
D'autre part, l'entropie de Shannon peut être arbitrairement élevée pour une variable aléatoire qui a une min-entropie donnée.
Divergence de Rényi
En plus des entropies absolues de Rényi, Rényi a également défini un spectre de mesures de divergence généralisant la divergence de Kullback-Leibler .
La divergence de Rényi d'ordre α ou alpha-divergence d'une distribution P à partir d'une distribution Q est définie comme étant
lorsque 0 < α < ∞ et α ≠ 1 . On peut définir la divergence de Rényi pour les valeurs spéciales α = 0, 1, ∞ en prenant une limite, et en particulier la limite α → 1 donne la divergence de Kullback–Leibler.
Quelques cas particuliers :
- : moins le log de probabilité sous Q que p i > 0 ;
- : moins deux fois le logarithme du coefficient de Bhattacharyya ; ( Nielsen et Boltz (2010) )
- : la divergence Kullback–Leibler ;
- : le log du rapport attendu des probabilités ;
- : le log du rapport maximum des probabilités.
La divergence de Rényi est bien une divergence , c'est-à-dire simplement supérieure ou égale à zéro, et nulle uniquement lorsque P = Q . Pour toutes distributions fixes P et Q , la divergence de Rényi est non décroissante en fonction de son ordre α , et elle est continue sur l'ensemble de α pour lequel elle est finie.
Interprétation financière
Une paire de distributions de probabilités peut être considérée comme un jeu de hasard dans lequel l'une des distributions définit les cotes officielles et l'autre contient les probabilités réelles. La connaissance des probabilités réelles permet à un joueur de tirer profit du jeu. Le taux de profit attendu est lié à la divergence de Rényi comme suit
où est la distribution définissant les cotes officielles (c'est-à-dire le "marché") pour le jeu, est la distribution que l'investisseur croit et est l'aversion au risque de l'investisseur (l'aversion au risque relative d'Arrow-Pratt).
Si la vraie distribution est (pas nécessairement coïncidant avec la croyance de l'investisseur ), le taux réalisé à long terme converge vers la vraie attente qui a une structure mathématique similaire
Pourquoi α = 1 est spécial
La valeur α = 1 , qui donne l' entropie de Shannon et la divergence de Kullback-Leibler , est particulière car ce n'est qu'à α = 1 que la règle de la chaîne de probabilité conditionnelle tient exactement :
pour les entropies absolues, et
pour les entropies relatives.
Ce dernier en particulier signifie que si nous recherchons une distribution p ( x , a ) qui minimise la divergence par rapport à une mesure a priori sous - jacente m ( x , a ) , et que nous acquérons de nouvelles informations qui n'affectent que la distribution de a , alors la distribution de p ( x | a ) reste m ( x | a ) , inchangé.
Les autres divergences Rényi satisfont aux critères d'être positifs et continus ; être invariant sous des transformations de coordonnées 1 à 1 ; et de combiner additivement lorsque A et X sont indépendants, de sorte que si p ( A , X ) = p ( A ) p ( X ) , alors
et
Les propriétés des plus fortes alpha = 1 quantités qui permettent la définition de l' information conditionnelle et information mutuelle de la théorie de la communication, peut être très important dans d' autres applications, ou tout à fait sans importance, selon les exigences de ces applications.
Familles exponentielles
Les entropies et divergences de Rényi pour une famille exponentielle admettent des expressions simples
et
où
est une divergence par différence de Jensen.
Signification physique
L'entropie de Rényi en physique quantique n'est pas considérée comme observable , en raison de sa dépendance non linéaire à la matrice densité. (Cette dépendance non linéaire s'applique même dans le cas particulier de l'entropie de Shannon.) On peut cependant lui donner un sens opérationnel grâce aux mesures en deux temps (également appelées statistiques de comptage complet) des transferts d'énergie.
La limite de l'entropie de Rényi est l' entropie de von Neumann .
Voir également
Remarques
Les références
- Beck, chrétien ; Schlögl, Friedrich (1993). Thermodynamique des systèmes chaotiques : une introduction . La presse de l'Universite de Cambridge. ISBN 0521433673.
- Jizba, P. ; Arimitsu, T. (2004). « Le monde selon Rényi : Thermodynamique des systèmes multifractals ». Annales de Physique . 312 (1) : 17-59. arXiv : cond-mat/0207707 . Bibcode : 2004AnPhy.312 ... 17J . doi : 10.1016/j.aop.2004.01.002 . S2CID 119704502 .
- Jizba, P. ; Arimitsu, T. (2004). "Sur l'observabilité de l'entropie de Rényi". Examen physique E . 69 (2) : 026128. arXiv : cond-mat/0307698 . Bibcode : 2004PhRvE..69b6128J . doi : 10.1103/PhysRevE.69.026128 . PMID 14995541 . S2CID 39231939 .
- Bromiley, Pennsylvanie; Thacker, NA; Bouhova-Thacker, E. (2004), Shannon Entropy, Rényi Entropy, and Information , CiteSeerX 10.1.1.330.9856
- Franchini, F.; Son, AR; Korepin, VE (2008). "L'entropie de Rényi comme mesure de l'intrication dans la chaîne de spin quantique". Journal de Physique A : Mathématique et Théorique . 41 (25302) : 025302. arXiv : 0707.2534 . Bibcode : 2008JPhA ... 41b5302F . doi : 10.1088/1751-8113/41/2/025302 . S2CID 119672750 .
- "Test Rényi" , Encyclopédie des Mathématiques , EMS Press , 2001 [1994]
-
Héros, AO ; Michael, O.; Gorman, J. (2002). « Alpha-divergences pour la classification, l'indexation et la récupération » (PDF) . CiteSeerX 10.1.1.373.2763 . Citer le journal nécessite
|journal=
( aide ) - Son, AR; Korepin, VE (2010). « Entropie généralisée de la chaîne de spin Heisenberg ». Physique théorique et mathématique . 164 (3) : 1136-1139. Bibcode : 2010TMP ... 164.1136I . doi : 10.1007/s11232-010-0091-6 . S2CID 119525704 .
- Nielsen, F.; Boltz, S. (2010). « Les centroïdes Burbea-Rao et Bhattacharyya ». Transactions IEEE sur la théorie de l'information . 57 (8) : 5455-5466. arXiv : 1004.5049 . doi : 10.1109/TIT.2011.2159046 . S2CID 14238708 .
- Nielsen, Franck ; Nock, Richard (2012). « Une expression de forme fermée pour l'entropie Sharma-Mittal des familles exponentielles ». Journal de physique A . 45 (3) : 032003. arXiv : 1112.4221 . Bibcode : 2012JPhA ... 45c2003N . doi : 10.1088/1751-8113/45/3/032003 . S2CID 8653096 .
- Nielsen, Franck ; Nock, Richard (2011). « Sur les entropies et divergences Rényi et Tsallis pour les familles exponentielles ». Journal de physique A . 45 (3) : 032003. arXiv : 1105.3259 . Bibcode : 2012JPhA ... 45c2003N . doi : 10.1088/1751-8113/45/3/032003 . S2CID 8653096 .
- Rényi, Alfred (1961). "Sur les mesures de l'information et de l'entropie" (PDF) . Actes du quatrième Symposium de Berkeley sur les mathématiques, les statistiques et les probabilités 1960 . p. 547-561.
- Rosso, OA (2006). « Analyse EEG à l'aide d'outils d'information basés sur les ondelettes ». Journal des méthodes de neuroscience . 153 (2) : 163–182. doi : 10.1016/j.jneumeth.2005.10.009 . PMID 16675027 . S2CID 7134638 .
- Zachos, CK (2007). « Une borne classique sur l'entropie quantique ». Journal de physique A . 40 (21) : F407–F412. arXiv : hep-th/0609148 . Bibcode : 2007JPhA ... 40..407Z . doi : 10.1088/1751-8113/40/21/F02 . S2CID 1619604 .
- Nazarov, Y. (2011). "Flux d'entropies Rényi". Examen physique B . 84 (10) : 205437. arXiv : 1108,3537 . Bibcode : 2015PhRvB..91j4303A . doi : 10.1103/PhysRevB.91.104303 . S2CID 40312624 .
- Ansari, Mohammad H. ; Nazarov, Yuli V. (2015). "L'entropie de Rényi s'écoule des moteurs thermiques quantiques". Examen physique B . 91 (10) : 104303. arXiv : 1408.3910 . Bibcode : 2015PhRvB..91j4303A . doi : 10.1103/PhysRevB.91.104303 . S2CID 40312624 .
- Ansari, Mohammad H. ; Nazarov, Yuli V. (2015). "Correspondance exacte entre les flux d'entropie Rényi et les flux physiques". Examen physique B . 91 (17) : 174307. arXiv : 1502.08020 . Bibcode : 2015PhRvB..91q4307A . doi : 10.1103/PhysRevB.91.174307 . S2CID 36847902 .
- Soklakov, AN (2020). « Économie du désaccord – Intuition financière pour la divergence Rényi » . Entropie . 22 (8) : 860. arXiv : 1811.08308 . doi : 10.3390/e22080860 .
- Ansari, Mohammad H. ; van Steensel, Alwin; Nazarov, Yuli V. (2019). "La production d'entropie dans Quantum est différente". Entropie . 21 (9) : 854. arXiv : 1907.09241 . doi : 10.3390/e21090854 . S2CID 198148019 .