Informations minimales sur le pêcheur - Minimum Fisher information

En théorie de l'information , le principe de l' information minimale de Fisher (MFI) est un principe variationnel qui, lorsqu'il est appliqué avec les contraintes appropriées nécessaires pour reproduire les valeurs d'espérance empiriquement connues, détermine la meilleure distribution de probabilité qui caractérise le système. (Voir également les informations de Fisher .)

Mesures de l'information

Les mesures de l'information (MI) sont les outils les plus importants de la théorie de l' information . Ils mesurent soit la quantité d'informations positives, soit d'informations «manquantes» qu'un observateur possède en ce qui concerne tout système d'intérêt. La MI la plus connue est la soi-disant entropie de Shannon (1948), qui détermine la quantité d'informations supplémentaires dont l'observateur a encore besoin pour avoir toutes les connaissances disponibles sur un système S donné, alors qu'il ne dispose que d'une densité de probabilité. fonction (PDF) définie sur les éléments appropriés d'un tel système. Il s'agit alors d'une mesure d'information «manquante». La messagerie instantanée est une fonction du PDF uniquement. Si l'observateur n'a pas un tel PDF, mais seulement un ensemble fini de valeurs moyennes empiriquement déterminées du système, alors un principe scientifique fondamental appelé l' Entropie Maximale (MaxEnt) affirme que le "meilleur" PDF est celui qui, reproduisant les valeurs attendues connues, maximise sinon la MI de Shannon.

Mesure de l'information de Fisher

L'information de Fisher (FIM), du nom de Ronald Fisher , (1925) est un autre type de mesure, à deux égards, à savoir:

1) il reflète la quantité d'informations (positives) de l'observateur,
2) il dépend non seulement de la PD mais aussi de ses premières dérivées, une propriété qui en fait une quantité locale (celle de Shannon est plutôt globale).

La contrepartie correspondante de MaxEnt est maintenant la minimisation FIM, puisque la mesure de Fisher augmente lorsque celle de Shannon diminue, et vice versa. La minimisation dont il est question ici (MFI) est un outil théorique important dans une multitude de disciplines, à commencer par la physique . Dans un sens, elle est clairement supérieure à MaxEnt car la dernière procédure donne toujours comme solution une PD exponentielle, tandis que la solution MFI est une équation différentielle pour la PD, ce qui permet une plus grande flexibilité et polyvalence.

Applications de l'IMF

Thermodynamique

Beaucoup d'efforts ont été consacrés à la mesure de l'information de Fisher, éclairant ainsi les multiples applications physiques. En tant que petit échantillon, on peut montrer que tout le domaine de la thermodynamique (à la fois équilibre et non-équilibre ) peut être dérivé de l'approche MFI. Ici, la FIM est spécialisée dans le cas particulier mais important des familles de traduction, c'est-à-dire des fonctions de distribution dont la forme ne change pas sous les transformations traductionnelles. Dans ce cas, la mesure de Fisher devient invariante par décalage. Une telle minimisation de la mesure de Fisher conduit à une équation de type Schrödinger pour l'amplitude de probabilité, où l'état fondamental décrit la physique à l'équilibre et les états excités rendent compte des situations de non-équilibre.

Phénomènes invariants d'échelle

Plus récemment, la loi de Zipf s'est avérée être la solution variationnelle de l'IMF lorsque l' invariance d'échelle est introduite dans la mesure, conduisant pour la première fois à une explication de cette régularité à partir des premiers principes . Il a également été montré que le MFI peut être utilisé pour formuler une thermodynamique basée sur l'invariance d'échelle au lieu de l' invariance translationnelle , permettant la définition du gaz parfait sans tartre, l'équivalent invariant d'échelle du gaz parfait .

Les références

  1. ^ Frieden, BR (2004). Science de Fisher Information: une unification . Cambridge, Royaume-Uni: Cambridge University Press. ISBN   978-0-521-00911-9 . OCLC   53325064 .
  2. ^ Frieden, B. Roy (1989). "L'information de Fisher comme base pour l'équation d'onde de Schrödinger". Journal américain de physique . Association américaine des professeurs de physique (AAPT). 57 (11): 1004-1008. doi : 10.1119 / 1.15810 . ISSN   0002-9505 .
  3. ^ Frieden, B.Roy (1992). "Information de Fisher et complémentarité d'incertitude". Physics Letters A . Elsevier BV. 169 (3): 123-130. doi : 10.1016 / 0375-9601 (92) 90581-6 . ISSN   0375-9601 .
  4. ^ BR Frieden, dans Advances in Imaging and Electron Physics, édité par PW Hawkes, Academic, New York, 1994, Vol. 90, pages 123204.
  5. ^ Frieden, B.Roy (1993). "Estimation des lois de distribution, et des lois physiques, par un principe d'information physique extrémisée". Physica A: Mécanique statistique et ses applications . Elsevier BV. 198 (1–2): 262–338. doi : 10.1016 / 0378-4371 (93) 90194-9 . ISSN   0378-4371 .
  6. ^ Frieden, B. Roy; Hughes, Roy J. (01/04/1994). "Bruit spectral 1 / f dérivé d'informations physiques extrêmes". Physical Review E . Société américaine de physique (APS). 49 (4): 2644–2649. doi : 10.1103 / physreve.49.2644 . ISSN   1063-651X .
  7. ^ Nikolov, B .; Frieden, B. Roy (01/06/1994). "Limitation sur l'augmentation d'entropie imposée par l'information de Fisher". Physical Review E . Société américaine de physique (APS). 49 (6): 4815–4820. doi : 10.1103 / physreve.49.4815 . ISSN   1063-651X .
  8. ^ Frieden, B. Roy (01/04/1990). "L'information de Fisher, le désordre, et les distributions d'équilibre de la physique". Physical Review A . Société américaine de physique (APS). 41 (8): 4265–4276. doi : 10.1103 / physreva.41.4265 . ISSN   1050-2947 .
  9. ^ Frieden, B. Roy; Soffer, Bernard H. (01/09/1995). "Lagrangiens de la physique et le jeu du transfert d'information de Fisher". Physical Review E . Société américaine de physique (APS). 52 (3): 2274-2286. doi : 10.1103 / physreve.52.2274 . ISSN   1063-651X .
  10. ^ Frieden, B. Roy (1991). "L'information de Fisher et la nature complexe de l'équation d'onde de Schrödinger". Fondements de la physique . Springer Nature. 21 (7): 757–771. doi : 10.1007 / bf00733343 . ISSN   0015-9018 .
  11. ^ RN Silver, dans ET Jaynes: Physics and Probability, édité par WT Grandy, Jr. et PW Milonni , Cambridge University Press, Cambridge, Angleterre, 1992.
  12. ^ Plastino, A .; Plastino, AR; Miller, HG; Khanna, FC (1996). "Une limite inférieure pour la mesure d'information de Fisher". Physics Letters A . Elsevier BV. 221 (1–2): 29–33. doi : 10.1016 / 0375-9601 (96) 00560-9 . ISSN   0375-9601 .
  13. ^ Plastino, AR; Plastino, A. (01/10/1996). "Symétries de l'équation Fokker-Planck et la flèche Fisher-Frieden du temps". Physical Review E . Société américaine de physique (APS). 54 (4): 4423–4426. doi : 10.1103 / physreve.54.4423 . ISSN   1063-651X .
  14. ^ R. Plastino, A .; Miller, HG; Plastino, A. (01/10/1997). "Approche minimale d'entropie de Kullback à l'équation de Fokker-Planck". Physical Review E . Société américaine de physique (APS). 56 (4): 3927–3934. doi : 10.1103 / physreve.56.3927 . ISSN   1063-651X .
  15. ^ Plastino, A .; Plastino, AR; Miller, HG (1997). "Sur la relation entre la flèche de Fisher-Frieden-Soffer du temps, et le comportement des entropies de Boltzmann et Kullback". Physics Letters A . Elsevier BV. 235 (2): 129-134. doi : 10.1016 / s0375-9601 (97) 00634-8 . ISSN   0375-9601 .
  16. ^ Frieden, BR; Plastino, A .; Plastino, AR; Soffer, BH (01/07/1999). "Thermodynamique à base de Fisher: ses propriétés de transformation et de concavité de Legendre". Physical Review E . Société américaine de physique (APS). 60 (1): 48–53. doi : 10.1103 / physreve.60.48 . ISSN   1063-651X .
  17. ^ Frieden, BR; Plastino, A .; Plastino, AR; Soffer, BH (2002-10-22). "Lien de Schrödinger entre la thermodynamique sans équilibre et l'information de Fisher". Physical Review E . Société américaine de physique (APS). 66 (4): 046128. arXiv : cond-mat / 0206107 . doi : 10.1103 / physreve.66.046128 . ISSN   1063-651X .
  18. ^ Hernando, A .; Puigdomènech, D .; Villuendas, D.; Vesperinas, C.; Plastino, A. (2009). "La loi de Zipf d'un principe variationnel de Fisher". Physics Letters A . Elsevier BV. 374 (1): 18–21. arXiv : 0908.0501 . doi : 10.1016 / j.physleta.2009.10.027 . ISSN   0375-9601 .
  19. ^ Hernando, A .; Vesperinas, C.; Plastino, A. (2010). "L'information de Fisher et la thermodynamique des systèmes invariants d'échelle". Physica A: Mécanique statistique et ses applications . 389 (3): 490. arXiv : 0908.0504 . Bibcode : 2010PhyA..389..490H . doi : 10.1016 / j.physa.2009.09.054 .