2020.05.24記
[2] ()を正数とし, を満たすとする.このとき不等式を証明せよ.
2019.05.24記ギブスの不等式の特殊な場合である。
確率となるように,とおくと、であるから、
となる。よって
を示せば良い。
これはKLダイバージェンスが非負であるという、ギブスの不等式なので正しい。
なお、ギブスの不等式は、下に凸な関数に対するJensen の不等式
(最後の等号は確率の和が1であることを用いている)
でとおけば
からKLダイバージェンスは非負であることを導くことができる。
もちろん、(での接線で評価)を利用して
(の中の分子分母が逆)と示しても良い。
なお、ギブスの不等式のうち、の和が1である式をの和が1であると組替えると
と変形できるので、シャノンエントロピーを最大化するものは一様分布であることがわかる。
2020.09.09記
エントロピーは一様分布のときに最大となる,という観点からすると として, のとき,を示していることになる.
この手の不等式は、Jensen の不等式を用いるのが一般的であるが,実は接線で評価して証明することもできる.このことは知っておくと良い.
とおくと、 は下に凸だから、Jensen の不等式より
である.
である.
接線で評価する.等号成立が となる,つまり となることに注意すると良い.
とおくと、 であり, は下に凸だから、
である.
である.
よって
となる.つまり
となり,
が成立する.