Théorème de Sanov
Le théorème de Sanov est un résultat de probabilités et statistique fondamentales démontré en 1957[1]. Il établit un principe de grandes déviations pour la mesure empirique d'une suite de variables aléatoires i.i.d. dont la fonction de taux est la divergence de Kullback-Leibler.
Énoncé
Soient des variables indépendantes et identiquement distribuées à valeurs dans un espace mesurable distribuées selon une loi , où désigne l'ensemble des mesures de probabilités sur . On munit l'espace de la -topologie, i.e. la topologie engendrée par les ensembles
avec une partition de et .
On note la mesure empirique de l'échantillon , i.e. la mesure de probabilité discrète définie par
La mesure empirique vérifie le principe des grandes déviations dans équipé de la -topologie avec la fonction de Kullback-Leibler . Autrement dit pour ,
où et désignent respectivement l'intérieur et l'adhérence de par rapport à la -topologie.
L'intérêt de ce théorème réside dans le fait que si l'on choisit un ensemble qui ne contient pas , on pourra affirmer que la probabilité que la mesure empirique appartienne à cet ensemble est exponentiellement décroissante.
Démonstration
Plusieurs démonstrations de ce résultat ont été établies. Dembo et Zeitouni[2] proposent dans un premier temps la démonstration du théorème de Sanov dans le cas d'un alphabet fini (théorème 2.1.10), i.e. quand puis généralisent dans le cas des espaces polonais (théorème 6.2.10). En 2006[3], Csiszár publie une preuve simple et autonome de ce résultat. Cet article s'appuie notamment sur les outils utilisés pour la démonstration dans le cas d'un alphabet fini et réussit à l'étendre à n'importe quel espace en utilisant l'équivalence de la définition de la distance de Kullback-Leibler, à savoir
où est l'ensemble des partitions finies de . Cette équivalence est citée par Csiszár[4] qui renvoie au livre de Pinsker[5].
Notes et références
- ↑ (en) I. N. Sanov, « On the probability of large deviations of random variables », Matematicheskii Sbornik, , p. 11-44 (lire en ligne)
- ↑ (en) Amir Dembo et Ofer Zeitouni, Large Deviations Techniques and Applications, Berlin/New York, Springer-Verlag, , 396 p. (ISBN 978-3-642-03311-7, lire en ligne)
- ↑ (en) Imre Csiszár, « A simple proof of Sanov’s theorem », Bulletin of the Brazilian Mathematical Society, vol. 37, , p. 453-459 (lire en ligne)
- ↑ (en) Imre Csiszár, « Sanov property, generalized I-projection and a conditionnal limit theorem », The Annals of Probability, vol. 12, no 3, , p. 768-793 (lire en ligne)
- ↑ (en) M. S. Pinsker, Information and Information Stability of Random Variables and Processes, Holden-Day, , 243 p. (ISBN 0-8162-6804-5)
Portail des mathématiques
Portail des probabilités et de la statistique