ギブスの不等式(ぎぶすのふとうしき、英: Gibbs' inequality)とは、情報理論における離散確率分布のエントロピーに関する式である。確率分布のエントロピーに関しては、ギブスの不等式を出発点としていくつかの式が考案されており、ファーノの不等式などがある。
この不等式は19世紀にウィラード・ギブスが最初に提示した。
定義
ある確率分布 P を次のように表す。
![{\displaystyle P=\{p_{1},\ldots ,p_{n}\}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/11f8d45d44a4798a64f32816a850c5f231c4e961)
別の確率分布 Q を次のように表す。
![{\displaystyle Q=\{q_{1},\ldots ,q_{n}\}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2af51d5a203c61ad6e3d5a0f4203ad891f94cc88)
このとき、次の不等式が成り立つ。
![{\displaystyle -\sum _{i=1}^{n}p_{i}\log _{2}p_{i}\leq -\sum _{i=1}^{n}p_{i}\log _{2}q_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f3b326e2141612b20698a5f9f81e7d0f3eea2ed0)
ただし、これは全ての i について次の等式が成り立つときだけ等式として成り立つ。
![{\displaystyle p_{i}=q_{i}\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/91ac2d82a078dce5e76636a0221b290941b50b43)
2つの量の差は、カルバック・ライブラー情報量(相対エントロピー)の符号を反転させたものと等しい。したがって、この不等式は次のようにも表せる。
![{\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ab965ec1c75873ff0e138eedff97ba1a02afebe7)
証明
対数の性質から、次が成り立つ。
![{\displaystyle \log _{2}a={\frac {\ln a}{\ln 2}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4b950900b98510f0a1faa1079b47af0d00841c2b)
従って、自然対数 (ln) について証明できれば十分である。自然対数には次の性質がある。
![{\displaystyle \ln x\leq x-1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/89f5357f53c54483acbd9968b27c6ac32fe66d1e)
これは、全ての x について成り立つ(x=1 のときだけ等号)。
pi がゼロでない全ての
の集合を
とする。すると、
![{\displaystyle {\begin{aligned}-\sum _{i\in I}p_{i}\ln {\frac {q_{i}}{p_{i}}}&{}\geq -\sum _{i\in I}p_{i}\left({\frac {q_{i}}{p_{i}}}-1\right)\\&{}=-\sum _{i\in I}q_{i}+\sum _{i\in I}p_{i}\\&{}=-\sum _{i\in I}q_{i}+1\\&{}\geq 0\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9be09d67141359a79b23120fafa5274dd61d5bc6)
となるので、次が成り立つ。
![{\displaystyle -\sum _{i\in I}p_{i}\ln q_{i}\geq -\sum _{i\in I}p_{i}\ln p_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4effaedadc16aabdd88e5527260e653402eb146c)
両辺に 0 を加えても大小関係は変わらないから、0 であるような pi も含めることができて、
![{\displaystyle -\sum _{i=1}^{n}p_{i}\ln q_{i}\geq -\sum _{i=1}^{n}p_{i}\ln p_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d658207e45ddaf8c86d67cd77e7341e7c297730f)
等式として成り立つには、次の条件が成立しなければならない。
- 全ての
について
であれば、
が成り立つ。
であれば、証明の3行目から4行目の部分で等号が成り立つ。
これらが成り立つのは、i = 1, ..., n について以下が成立しているときのみである。
![{\displaystyle p_{i}=q_{i}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/650c554c35f188685dec5d224283aa3292f1cc4a)
他の証明手法
イェンセンの不等式を使って証明することもできる。
系
のエントロピーは次の式で上限が与えられる。
![{\displaystyle H(p_{1},\ldots ,p_{n})\leq \log n}](https://wikimedia.org/api/rest_v1/media/math/render/svg/29a83f90ef5a174edc1d63a6a27199ed463aa127)
証明は簡単で、全ての i について
とすればよい。
関連項目