Noyau de Fisher - Fisher kernel

En classification statistique , le noyau de Fisher , du nom de Ronald Fisher , est une fonction qui mesure la similarité de deux objets sur la base d'ensembles de mesures pour chaque objet et d'un modèle statistique. Dans une procédure de classification, la classe d'un nouvel objet (dont la classe réelle est inconnue) peut être estimée en minimisant, à travers les classes, une moyenne de la distance du noyau de Fisher du nouvel objet à chaque membre connu de la classe donnée.

Le noyau de Fisher a été introduit en 1998. Il combine les avantages des modèles statistiques génératifs (comme le modèle de Markov caché ) et ceux des méthodes discriminantes (comme les machines à vecteurs de support ) :

  • les modèles génératifs peuvent traiter des données de longueur variable (l'ajout ou la suppression de données est bien pris en charge)
  • les méthodes discriminantes peuvent avoir des critères flexibles et donner de meilleurs résultats.

Dérivation

Score de Fisher

Le noyau de Fisher utilise le score de Fisher , défini comme

avec θ étant un ensemble (vector) de paramètres. La fonction prenant θ pour loger P( X | θ ) est la log-vraisemblance du modèle probabiliste.

Noyau de Fisher

Le noyau de Fisher est défini comme

avec étant l' information de Fisher matrice.

Applications

Récupération de l'information

Le noyau de Fisher est le noyau d'un modèle probabiliste génératif. A ce titre, il constitue une passerelle entre les modèles génératifs et probabilistes de documents. Des noyaux de Fisher existent pour de nombreux modèles, notamment tf–idf , Naive Bayes et l'analyse sémantique latente probabiliste .

Classification et récupération d'images

Le noyau de Fisher peut également être appliqué à la représentation d'images pour des problèmes de classification ou de récupération. Actuellement, la représentation par sac de mots visuels la plus populaire souffre de la rareté et de la haute dimensionnalité. Le noyau de Fisher peut donner une représentation compacte et dense, ce qui est plus souhaitable pour les problèmes de classification et de récupération d'images.

Le vecteur de Fisher (FV), un cas spécial, approximatif et amélioré du noyau général de Fisher, est une représentation d'image obtenue en regroupant les caractéristiques locales de l'image . Le codage FV stocke la moyenne et les vecteurs d'écart de covariance par composante k du modèle de mélange gaussien (GMM) et chaque élément des descripteurs de caractéristiques locales ensemble. Dans une comparaison systématique, FV a surpassé toutes les méthodes d'encodage comparées ( Bag of Visual Words (BoW) , Kernel Codebook encoding (KCB), Locality Constrained Linear Coding (LLC), Vector of Locally Aggregated Descriptors (VLAD)) montrant que l'encodage de la seconde les informations de commande (également appelées covariances de mots de code) profitent en effet aux performances de classification.

Voir également

Notes et références

  1. ^ Tommi Jaakkola et David Haussler (1998), Exploitation des modèles génératifs dans les classificateurs discriminants. Dans Advances in Neural Information Processing Systems 11 , pages 487-493. Presse MIT. ISBN 978-0-262-11245-1 PS , Citeseer  
  2. ^ Cyril Goutte, Eric Gaussier, Nicola Cancedda, Hervé Dejean (2004)) "Approches génératives vs discriminantes de la reconnaissance d'entités à partir de données déficientes en étiquette" JADT 2004, 7èmes journées internationales analyse statistique des données textuelles , Louvain-la-Neuve, Belgique, 10-12 mars 2004
  3. ^ Charles Elkan (2005). Dérivation de TF-IDF en tant que noyau de pêcheur (PDF) . FLÈCHE. Archivé de l'original (PDF) le 20 décembre 2013.
  4. ^ Florent Perronnin et Christopher Dance (2007), « Fisher Kernels on Visual Vocabularies for Image Catégorisation »
  5. ^ Hervé Jegou et al. (2010), « Agrégation de descripteurs locaux dans une représentation d'image compacte »
  6. ^ AP Twinanda et al. (2014), « Récupération des limites de tâche basée sur le noyau Fisher dans une base de données laparoscopique avec une requête vidéo unique »
  7. ^ "VLFeat - Documentation > API C" . www.vlfeat.org . Récupéré le 04/03/2017 .
  8. ^ Seeland, Marco; Rzanny, Michael; Alaqraa, Nedal ; Wäldchen, Jana; Mäder, Patrick (2017-02-24). "Classification des espèces végétales à l'aide d'images de fleurs - Une étude comparative des représentations des caractéristiques locales" . PLOS UN . 12 (2) : e0170629. doi : 10.1371/journal.pone.0170629 . ISSN  1932-6203 . PMC  5325198 . PMID  28234999 .
  • Nello Cristianini et John Shawe-Taylor. Une introduction aux machines à vecteurs de support et à d'autres méthodes d'apprentissage basées sur le noyau . Cambridge University Press, 2000. ISBN  0-521-78019-5 ( [1] Livre SVM)