情報理論 第6回　通信路容量　練習問題解答例

• 練習問題1
入力信号では0が$\frac{1}{4}$の確率で発生し、通信路では信号が0, 1のどちらでも10%の確率で変化し、消失が起こらない場合の入力と出力の相互情報量を求めよ。ただし、$\log 3=1.58$、$\log 7=2.81$として、四捨五入して小数第二位まで求めること。

問題文より、$\alpha =\frac{1}{4}$, $p=\frac{1}{10}$なので、 となる。これを使えば


$I\left(Y,X\right)=p\log p+(1-p)\log (1-p)-(p+\alpha -2\alpha p)\log (p+\alpha -2\alpha p)-(1-p-\alpha +2\alpha p)\log (1-p-\alpha +2\alpha p)=\frac{1}{10}\log \frac{1}{10}+\frac{9}{10}\log \frac{9}{10}-\frac{3}{10}\log \frac{3}{10}-\frac{7}{10}\log \frac{7}{10}=\frac{1}{10}(-\log 10)+\frac{9}{10}(2\log 3-\log 10)-\frac{3}{10}(\log 3-\log 10)-\frac{7}{10}(\log 7-\log 10)=(-\frac{1}{10}-\frac{9}{10}+\frac{3}{10}+\frac{7}{10})\log 10+(\frac{18}{10}-\frac{3}{10})\log 3-\frac{7}{10}\log 7=1.5\times 1.58-0.7\times 2.81=2.37-1.967=0.403\cong 0.40$

よって$I\left(Y,X\right)=0.40$

• 練習問題2
入力信号では0が$\frac{1}{2}$の確率で発生し、通信路では信号が0, 1のどちらでも10%の確率で変化し、消失が起こらない場合の入力と出力の相互情報量を求めよ。ただし、$\log 3=1.58$、$\log 5=2.32$として、四捨五入して小数第二位まで求めること。 問題文より、$\alpha =\frac{1}{2}$, $p=\frac{1}{10}$なので、 となる。これを使えば


$I\left(Y,X\right)=p\log p+(1-p)\log (1-p)-(p+\alpha -2\alpha p)\log (p+\alpha -2\alpha p)-(1-p-\alpha +2\alpha p)\log (1-p-\alpha +2\alpha p)=\frac{1}{10}\log \frac{1}{10}+\frac{9}{10}\log \frac{9}{10}-\frac{1}{2}\log \frac{1}{2}-\frac{1}{2}\log \frac{1}{2}=\frac{1}{10}(-\log 10)+\frac{9}{10}(2\log 3-\log 10)+\frac{1}{2}\log 2+\frac{1}{2}\log 2=(-\frac{1}{10}-\frac{9}{10})\log 10+\frac{9}{5}\log 3+1=-1-\log 5+\frac{9}{5}\log 3+1=-\log 5+\frac{9}{5}\log 3=-2.32+1.8\times 1.58=-2.32+2.844=0.524\cong 0.52$

よって$I\left(Y,X\right)=0.52$


練習問題1と練習問題2の結果を比べると、練習問題2の方が大きい値になった。第2回で見たように、事象系のエントロピーは偏りが少ないほど大きくなる。このケースでは、入れてやる$H\left(X\right)$が大きくなったために通る情報の量も多くなったとみることもできる。

• 練習問題3
「入力が0, 1のいずれの場合も確率$p$で変化し、消失しない」通信路の通信路容量を$p$を使った形で記述せよ。

$\alpha =\frac{1}{2}$とすると⑦式右辺の第3項の対数の係数部分は $p+\alpha -2\alpha p=p+\frac{1}{2}-p=\frac{1}{2}$ となる。第4項の方も同様なので、この場合の⑦式は


$I\left(Y,X\right)=p\log p+(1-p)\log (1-p)-\frac{1}{2}\log \frac{1}{2}-\frac{1}{2}\log \frac{1}{2}=p\log p+(1-p)\log (1-p)+1$

となる。よって、通信路容量は $C=p\log p+(1-p)\log (1-p)+1$

• 練習問題4
練習問題3のケースで、$p$が$\frac{1}{3}$の場合の通信路容量の値を求めよ。ただし、$\log 3=1.58$、$\log 7=2.81$として、四捨五入して小数第二位まで求めること。

練習問題3で求めた通信路容量の式で$p=\frac{1}{3}$とすると
$C=\frac{1}{3}\log \frac{1}{3}+\frac{2}{3}\log \frac{2}{3}+1=-(-\frac{1}{3}\log \frac{1}{3}-\frac{2}{3}\log \frac{2}{3})+1$

であり、このときのカッコの中の部分は第2回の練習問題で求めた「確率1/3, 2/3の事象からなる事象系のエントロピー」に等しく、値は0.91。よって $C=-0.91+1=0.09$

• 練習問題5
練習問題3のケースで、$p$が$\frac{1}{2}$の場合の通信路容量の値を求めよ。

練習問題3で求めた通信路容量の式で$p=\frac{1}{2}$とすると
$C=\frac{1}{2}\log \frac{1}{2}+\frac{1}{2}\log \frac{1}{2}+1=-\frac{1}{2}-\frac{1}{2}+1=0$

結局 $C=0$となる。


求めた値が意味するもの
練習問題5の通信路は、「変化する確率が1/2」→「入力が0でも、出力は0, 1が半々で出てくる(入力が1のときも同じ)」というもの。つまり、結果を見ても元の情報の手がかりが全く得られない。
→意味のある情報が通信路を全く通れない
→通信路の性能が0