情報理論 第4回　相互情報量と結合エントロピー　練習問題解答例

• 練習問題1
成人男性2人、成人女性3人、未成年男性4人、未成年女性1人からなるグループから無作為に1人を選び、その結果から以下の事象系を作る。このときの相互情報量$I\left(Y,X\right)$を求めよ。
事象系$X$：$x_m$ (男性(male)を選んだ), $x_f$ (女性(female)を選んだ)
事象系$Y$：$y_a$ (成人(adult)を選んだ), $y_c$ (未成年(child)を選んだ)

前回の練習問題1より、事象系$Y$は

という形なので、この事象系のエントロピーは
$H\left(Y\right)=-\frac{1}{2}\log \frac{1}{2}-\frac{1}{2}\log \frac{1}{2}=1$

となる。また、前回の練習問題5で$H\left(Y\right|X)=0.87$は計算済みなので、①の関係
$I\left(Y,X\right)+H\left(Y\right|X)=H\left(Y\right)$

で$H\left(Y\right|X)$を移項した形を使えば
$I\left(Y,X\right)=H\left(Y\right)-H\left(Y\right|X)=1-0.87=0.13$
となる。

• 練習問題2
練習問題1のケースについて$H\left(X\right)$を求めよ。ただし、結果は小数に直さず、$\log 3$と$\log 5$を残した形にすること。

前回の練習問題1より、事象系$X$は

という形なので、この事象系のエントロピーは
$H\left(X\right)=-\frac{3}{5}\log \frac{3}{5}-\frac{2}{5}\log \frac{2}{5}=\frac{3}{5}\log \frac{5}{3}+\frac{2}{5}\log \frac{5}{2}=\frac{3}{5}(\log 5-\log 3)+\frac{2}{5}(\log 5-\log 2)=(\frac{3}{5}+\frac{2}{5})\log 5-\frac{3}{5}\log 3-\frac{2}{5}\log 2=\log 5-\frac{3}{5}\log 3-\frac{2}{5}$
となる。

• 練習問題3
練習問題1のケースについて$H\left(X\right|y_a)$を求めよ。ただし、結果は小数に直さず、$\log 3$と$\log 5$を残した形にすること。

内訳の表

	m(男)	f(女)	計
a(成)	2	3	5
c(未)	4	1	5
計	6	4

の「a(成)」の行だけについて考えれば、「成人5人のうち男性が2人、女性が3人」で、条件付き事象系は


となるので、この事象系のエントロピーは
$H\left(X\right|y_a)=-\frac{3}{5}\log \frac{3}{5}-\frac{2}{5}\log \frac{2}{5}=\log 5-\frac{3}{5}\log 3-\frac{2}{5}$


となる (計算過程は練習問題2と全く同じなので省略)。

• 練習問題4
練習問題1のケースについて$H\left(X\right|y_c)$を求めよ。ただし、結果は小数に直さず、$\log 5$を残した形にすること。

内訳の表の「c(未)」の行だけについて考えれば「未成年5人中男性が4人、女性が1人」なので 条件付き事象系は


となるので、この事象系のエントロピーは
$H\left(X\right|y_c)=-\frac{4}{5}\log \frac{4}{5}-\frac{1}{5}\log \frac{1}{5}=\frac{4}{5}\log \frac{5}{4}+\frac{1}{5}\log 5=\frac{4}{5}(\log 5-\log 4)+\frac{1}{5}\log 5=(\frac{4}{5}+\frac{1}{5})\log 5-\frac{4}{5}\log 4=\log 5-\frac{8}{5}$
となる。

• 練習問題5
練習問題1のケースについて相互情報量$I\left(X,Y\right)$を求めよ。ただし$\log 3=1.58$とし、計算結果は四捨五入して小数第二位までにすること($\log 5$は最終的に相殺して消えるはず。また、最終的な結果は練習問題1と同じ値になるはず)。

練習問題3, 4の結果から
$H\left(X\right|Y)=p_a\times $ H\left(X\right|y_a)$+p_c\times $ H\left(X\right|y_c)$=\frac{1}{2}(\log 5-\frac{3}{5}\log 3-\frac{2}{5})+\frac{1}{2}(\log 5-\frac{8}{5})=(\frac{1}{2}+\frac{1}{2})\log 5-\frac{1}{2}\times \frac{3}{5}\log 3-\frac{1}{2}\times \frac{2}{5}-\frac{1}{2}\times \frac{8}{5}=\log 5-\frac{3}{10}\log 3-1$

となる。また、練習問題2で
$H\left(X\right)=\log 5-\frac{3}{5}\log 3-\frac{2}{5}$

を求めたので、②の関係式から
$I\left(X,Y\right)=H\left(X\right)-H\left(X\right|Y)=(\log 5-\frac{3}{5}\log 3-\frac{2}{5})-(\log 5-\frac{3}{10}\log 3-1)=1-\frac{2}{5}+(-\frac{3}{5}+\frac{3}{10})\log 3=\frac{3}{5}-\frac{3}{10}\log 3$

となる。ここで$\log 3=1.58$を入れれば
$I\left(X,Y\right)=\frac{3}{5}-\frac{3}{10}\log 3=0.6-0.3\times 1.58=0.6-0.474=0.126\cong 0.13$

が得られる。これは練習問題1の結果($I\left(Y,X\right)$の値)とも等しい。

• 練習問題6
練習問題のケースで、結合事象系$XY$のエントロピーを求めよ。ただし、結果は小数に直さず、$\log 3$と$\log 5$を残した形にすること。また、これまでに求めた値を使って③の関係が成り立つことを確認せよ。


$XY=\left[\begin{array}{cccc}{x}_m,y_a& x_m,y_c& x_f,y_a& x_f,y_c\\ \frac{1}{5}& \frac{2}{5}& \frac{3}{10}& \frac{1}{10}\end{array}\right]$

より、この事象系のエントロピーは
$H\left(XY\right)=-\frac{1}{5}\log \frac{1}{5}-\frac{2}{5}\log \frac{2}{5}-\frac{3}{10}\log \frac{3}{10}-\frac{1}{10}\log \frac{1}{10}=\frac{1}{5}\log 5+\frac{2}{5}\log \frac{5}{2}+\frac{3}{10}\log \frac{10}{3}+\frac{1}{10}\log 10=\frac{1}{5}\log 5+\frac{2}{5}(\log 5-\log 2)+\frac{3}{10}(\log 5+\log 2-\log 3)+\frac{1}{10}(\log 5+\log 2)=(\frac{1}{5}+\frac{2}{5}+\frac{3}{10}+\frac{1}{10})\log 5-\frac{3}{10}\log 3-\frac{2}{5}+\frac{3}{10}+\frac{1}{10}=\log 5-\frac{3}{10}\log 3$

となる。一方、③の右辺のそれぞれの項は

$H\left(X\right)=\log 5-\frac{3}{5}\log 3-\frac{2}{5}$	(練習問題2)
$H\left(Y\right)=1$	(練習問題1の途中計算)
$I\left(Y,X\right)=\frac{3}{5}-\frac{3}{10}\log 3$	(練習問題5の途中計算)


なので、これらから
$H\left(X\right)+H\left(Y\right)-I\left(Y,X\right)=(\log 5-\frac{3}{5}\log 3-\frac{2}{5})+1-(\frac{3}{5}-\frac{3}{10}\log 3)=\log 5+(-\frac{3}{5}+\frac{3}{10})\log 3-\frac{2}{5}-\frac{3}{5}+1=\log 5-\frac{3}{10}\log 3$

となり、確かに$H\left(XY\right)$の値と一致する。