1997年(平成9年)京都府立医科大学-数学[2] - [別館]球面倶楽部零八式markIISR

2023.07.26記

[2] (1) $x\gt 0$ のとき，次の不等式が成り立つことを示せ．
$\log x \leqq x-1$

(2) $p_1,\ldots,p_n$ ， $q_1,\ldots,q_n$ は次を満たす正の数とする．
$\displaystyle\sum_{i=1}^n p_i =\sum_{i=1}^n q_i =1$
このとき，次の不等式を示せ．
$\displaystyle\sum_{i=1}^n p_i \log\left(\dfrac{p_i}{q_i}\right)\geqq 0$
また，等号が成り立つのはどのような場合か．

本問のテーマ

カルバック-ライブラーダイバージェンス
ギブスの不等式（情報不等式）

2023.07.26記

[解答]
(1) $f(x)=x-1-\log x$ とおくと
$f'(x)=1-\dfrac{1}{x}$ であるから，増減表（省略）より $f(x)$ は $x=1$ で極小かつ最小値 $0$ をとる．よって $f(x)\geqq 0$ となる．

(2) (1)により
$\displaystyle -\sum_{i=1}^n p_i \log\left(\dfrac{p_i}{q_i}\right)$ $=\displaystyle \sum_{i=1}^n p_i \log\left(\dfrac{q_i}{p_i}\right)$ $\leqq \displaystyle\sum_{i=1}^n p_i \left(\dfrac{q_i}{p_i}-1\right)$ $=\displaystyle\sum_{i=1}^n (q_i-p_i)=1-1=0$
だから
$\displaystyle\sum_{i=1}^n p_i \log\left(\dfrac{p_i}{q_i}\right)\geqq 0$
が成立する．等号成立はすべての $i$ について $\dfrac{q_i}{p_i}=1$ ，つまりすべての $i$ について $p_i=q_i$ となることである．