Le but de la géométrie de l'information est de géométriser les sciences de l'information, de proposer une vision géométrique des problèmes d'inférence et d'apprentissage : estimer revient à calculer une projection orthogonale, faire un test d'hypothèse revient à construire un hyperplan séparateur, etc.
Elle est née des travaux de Rao, Chentsov, Amari, et d'autres, qui ont posé la question de la géométrie intrinsèque des espaces de densités de probabilité, et découvert qu’il s'agit d'une nouvelle géométrie qui émerge lorsque le concept de distance est remplacé par celui de divergence statistique.
Historiquement, le point de départ était un rapprochement avec la géométrie Riemannienne. Hotelling et Rao ont eu l'intuition que la matrice d'information de Fisher, bien connue en statistiques, était en fait un objet géométrique. Cette matrice d'information est une métrique Riemannienne (que nous appelons aujourd’hui métrique de Fisher-Rao). Elle permet de définir une géométrie classique (des distances, des volumes, etc.) sur les familles paramétrées de densités de probabilité.
Chentsov a montré que cette géométrie, une fois définie sur une famille de densités de probabilité, ne dépend que des données décrites par cette famille, et reste complètement invariante à toute transformation bijective de ces données (permutation, ré-étiquetage, changement de base, etc.). Cette invariance donne toute son importance à la métrique de Fisher-Rao dans les applications actuelles, comme dans la classification des signaux e.e.g. pour les interfaces cerveau-ordinateur.
Cependant, la métrique de Fisher-Rao ne permet pas d'aborder tous les problèmes d'inférence ou d'apprentissage. Ces problèmes se posent très souvent en termes d'une divergence statistique plutôt que d'une distance. Chentsov et Amari ont montré qu’il fallait encore augmenter la métrique de Fisher-Rao d'une paire de connexions affines duales. Contrairement à la géométrie Riemannienne, qui est complètement déterminée par une métrique, la géométrie de l’information est déterminée par une métrique Riemannienne et une paire de connexions duales par rapport à cette métrique. Ce triplet d’objets géométriques équivaut localement à la définition d’une divergence statistique.
Dans le cas de la divergence de Kullback-Leibler, cette métrique Riemannienne est justement la métrique de Fisher-Rao et les deux connexions duales sont connues sous les noms de la connexion e (exponentielle) et connexion m (mélange). Du point de vue géométrique, le fameux algorithme EM (expectation maximisation) revient à calculer une suite de projections orthogonales alternées, une projection par rapport à la connexion e suivie par une projection par rapport à la connexion m, et ainsi de suite.
La recherche autour de la géométrie de l'information est aujourd'hui très active, avec de nombreuses applications. Un journal (Information Geometry, publié par Springer) lui est entièrement dédié, et la conférence GSI (Geometric Science of Information) a lieu tous les deux ans, depuis 2013.
Repères bibliographiques
[1] N. N. Chentsov, Statistical decision rules and optimal inference, American Mathematical Society, 1982.
[2] S.i. Amari, Methods of information geometry, American Mathematical Society, 2000.
[3] S.i. Amari, Information geometry and its applications, Springer-Verlag, 2016.
[4] F. Nielsen, The many faces of information geometry, AMS Notices, 2022
