Kullbackova–Leiblerova divergence

Kullbackova–Leiblerova divergence neboli Kullbackova–Leiblerova divergenční míra neboli Kullbackova–Leiblerova vzdálenost neboli relativní entropie čili diskriminační informace je jedna z měr používaných v matematické statistice pro stanovení, jak se jedna distribuční funkce (P) odlišuje od jiné (Q). Kullbackova–Leiblerova divergence D_KL(P‖Q) nabývá hodnoty nula, právě když se distribuce P a Q rovnají skoro všude; v opačném případě je divergence kladná. Míra není symetrická, což znamená že D_KL(P‖Q) nemusí nutně být totéž jako D_KL(Q‖P). Jejími autory jsou Solomon Kullback a Richard Leibler, kteří ji uveřejnili roku 1951.

Jsou-li P a Q pravděpodobnostní míry nad množinou X a je-li P absolutně spojitá míra vzhledem ke Q, tak je Kullbackova–Leiblerova divergence P od Q definována jako

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}\ln {\frac {dP}{dQ}}\,dP,}$

pokud výraz na pravé straně existuje a kde ${\displaystyle {\frac {dP}{dQ}}}$ je Radonova–Nikodymova derivace P vzhledem ke Q.

Pro spojité distribuce lze tuto definici napsat jako

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\,\ln {\frac {p(x)}{q(x)}}\,dx,}$

kde p a q jsou hustoty pravděpodobnosti P resp. Q, a pro diskrétní distribuce vzorec vypadá takto:

${\displaystyle D_{\mathrm {KL} }(P\|Q)=-\sum _{i}P(i)\,\ln {\frac {Q(i)}{P(i)}}.}$