2002年(平成14年)九州大学前期-数学(理系)[3] - [別館]球面倶楽部零八式markIISR

2024.04.27記

[3] 次の問いに答えよ．
(1) すべての正の実数 $x$ ， $y$ に対して，不等式 $x\log x-x \log y-x+y\geqq0$ が成り立つことを示せ．ここで $\log$ は自然対数を表す．

(2) $a$ ， $b$ は実数で $a\lt b$ とする．関数 $f(x)$ と $g(x)$ は閉区間 $[a，b]$ で正の値をとる連続関数で，
$\displaystyle\int_a^b f(x)dx=\int_a^bg(x)dx$ をみたす．
このとき，不等式
$\displaystyle \int_a^bf(x)\log f(x)dx\geqq\int_a^bf(x)\log g(x)dx$
が成り立つことを示せ．

(3) $a$ ， $b$ は実数で $a\lt b$ とする．閉区間 $[a，b]$ で正の値をとる連続関数 $f(x)$ に対し正の実数 $M$ を $\displaystyle M=\dfrac{1}{b-a}\int_a^bf(x)dx$ とする．
不等式
$\dfrac{1}{b-a}\displaystyle\int_a^bf(x)\log f(x)dx\geqq M\log M$
が成り立つことを示せ．

本問のテーマ

微分エントロピー
連続確率変数のギブスの不等式（情報不等式）

2024.04.28記
連続確率変数のギブスの不等式（情報不等式）であり，離散確率変数の倍は
1990年(平成2年)東京工業大学前期数学[2] - [別館]球面倶楽部零八式markIISR
に出題されている．また
1997年(平成9年)京都府立医科大学-数学[2] - [別館]球面倶楽部零八式markIISR
2023年(令和5年)京都大学理学部特色入試・数理科学入試-数学[2] - [別館]球面倶楽部零八式markIISR
も参照のこと．

2024.04.27記

[解答]
(1) すべての正の実数 $x$ ， $y$ に対して，不等式
$\log\dfrac{x}{y}\geqq1-\dfrac{x}{y}$
が成り立つことを示せば良い．
$f(t)=\log t$ は $f''(t)=-\dfrac{1}{t^2}\lt 0$ により上に凸だから
$f(t)\leqq f'(t)(t-1)+f(1)$ （等号成立は $t=1$ ），
つまり
$\log t\leqq t-1$ （等号成立は $t=1$ ）
が成立する．よって $t=\dfrac{x}{y}$ とすれば
$\log\dfrac{x}{y}\geqq1-\dfrac{x}{y}$
が成り立つ．

(2) $\displaystyle \int_a^b\{f(x)\log f(x)dx-f(x)\log g(x)\}\,dx$
$=\displaystyle \int_a^b f(x)\log\dfrac{f(x)}{g(x)}\,dx$
$\geqq\displaystyle \int_a^b f(x)\left(1-\dfrac{f(x)}{g(x)}\right)\,dx$ （∵(1)）
$=\displaystyle \int_a^b \{f(x)-g(x)\}\,dx=0$
が成り立つ．

(3) (2)で $g(x)=C$ を定数関数とおくと，
$\displaystyle\int_a^b f(x)dx=\int_a^bg(x)dx=C(b-a)$
であるから， $C=M$ ，つまり $g(x)=M$ であり，よって不等式
$\displaystyle \int_a^bf(x)\log f(x)dx\geqq\int_a^bf(x)\log M\, dx$
$=(\log M)\displaystyle \int_a^bf(x)\, dx$ $=(\log M)\cdot M(b-a)$
が成り立ち，
$\dfrac{1}{b-a}\displaystyle\int_a^bf(x)\log f(x)dx\geqq M\log M$
が成り立つ．

微分エントロピー

区間 $[a,b]$ で定義される確率密度関数 $p$ に対して微分エントロピーは
$H(p):=-\displaystyle\int_a^b p(x)\log p(x)\,dx$
で定義される．

$\displaystyle\int_a^b f(x)dx=\int_a^bg(x)dx=C$ として
$p(x)=\dfrac{1}{C}f(x)$ ， $q(x)=\dfrac{1}{C}g(x)$
を用いて本問を書き換えると

(2) 区間 $[a,b]$ で定義される確率密度関数 $p，q$ に対して $H(p)\leqq H(q)$ が成り立つことを示せ．

(3) 区間 $[a,b]$ で定義される確率密度関数 $p$ に対して不等式 $H(p)\leqq \log (b-a)$ が成り立つことを示せ．

のようになる．また，
連続2次元データの回帰直線 - 球面倶楽部零八式 mark II
にあるように関数 $f(x)$ の区間 $[a,b]$ における期待値 $E[f(x)]$ を区間 $[a,b]$ 上の一様分布の確率密度関数 $U_{[a,b]}(x)=\dfrac{1}{b-a}$ に対し，
$f(x)$ の期待値を $E[f]:=\displaystyle\int_{a}^{b} f(x)U_{[a,b]}(x)\,dx$ $=\dfrac{1}{b-a}\displaystyle\int_{a}^{b} f(x)\,dx$ によって定義すると，

(3) $a$ ， $b$ は実数で $a\lt b$ とする．閉区間 $[a，b]$ で正の値をとる連続関数 $f(x)$ に対し不等式
$E[f\log f]\geqq E[f]\log E[f]$
が成り立つことを示せ．

と凸不等式と見ることもできる．