第11回　通信路容量　課題解答例

課題1

入力信号の事象系が \( \begin{eqnarray} X_1&=& \begin{bmatrix} x_0 & x_1 \\ \frac{1}{4} & \frac{3}{4} \end{bmatrix} \end{eqnarray} \) で、通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} \frac{9}{10} & \frac{1}{10} \\ \frac{1}{10} & \frac{9}{10} \end{bmatrix} \end{eqnarray} \) の場合の入力 \(X_1\) と出力 \(Y_1\) の相互情報量を求めよ。ただし、\(\log3=1.585\)、\(\log7=2.807\) として、四捨五入して小数第二位まで求めること。

問題文より、\(\alpha=\frac{1}{4}, p=\frac{1}{10}\) なので、 \(p+\alpha-2\alpha p=\frac{1}{10}+\frac{1}{4}-\frac{2}{4\times10}=\frac{3}{10}\) となり、これを使えば \(1-p-\alpha+2\alpha p=1-\frac{3}{10}=\frac{7}{10}\) となる。これを (7) 式に入れれば
\( \begin{eqnarray} &&I(Y_1,X_1)\\ =&&\frac{1}{10}\log\frac{1}{10}+\frac{9}{10}\log\frac{9}{10}-\frac{3}{10}\log\frac{3}{10}-\frac{7}{10}\log\frac{7}{10}\\ =&&-\frac{1}{10}\log10+\frac{9}{10}(2\log3-\log10)-\frac{3}{10}(\log3-\log10)-\frac{7}{10}(\log7-\log10)\\ =&&\left(-\frac{1}{10}-\frac{9}{10}+\frac{3}{10}+\frac{7}{10}\right)\log10+\frac{18-3}{10}\log3-\frac{7}{10}\log7\\ =&&\frac{3}{2}\log3-\frac{7}{10}\log7\\ ≒&&1.5\times1.585-0.7\times2.807\\ =&&2.3775-1.9649\\ =&&0.4126\\ ≒&&0.41 \end{eqnarray} \)

課題2

入力信号の事象系が \( \begin{eqnarray} X_2&=& \begin{bmatrix} x_0 & x_1 \\ \frac{1}{2} & \frac{1}{2} \end{bmatrix} \end{eqnarray} \) で、課題1と同じ通信路を通した場合の入力 \(X_2\) と出力 \(Y_2\) の相互情報量を求めよ。ただし、\(\log3=1.585\)、\(\log5=2.322\) として、四捨五入して小数第二位まで求めること。

問題文より、\(\alpha=\frac{1}{2}, p=\frac{1}{10}\) なので、 \(p+\alpha-2\alpha p=\frac{1}{10}+\frac{1}{2}-\frac{2}{2\times10}=\frac{1}{2}\) となる。これを (7) 式に入れれば
\( \begin{eqnarray} &&I(Y_2,X_2)\\ =&&\frac{1}{10}\log\frac{1}{10}+\frac{9}{10}\log\frac{9}{10}-\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\\ =&&-\frac{1}{10}\log10+\frac{9}{10}(2\log3-\log10)+\frac{1}{2}+\frac{1}{2}\\ =&&\left(-\frac{1}{10}-\frac{9}{10}\right)\log10+\frac{9}{5}\log3+1\\ =&&-\log5+\frac{9}{5}\log3\\ ≒&&-2.322+1.8\times1.585\\ =&&-2.322+2.853\\ =&&0.531\\ ≒&&0.53 \end{eqnarray} \)
課題1と課題2の結果を比べると、課題2の方が大きい値になった。第7回で見たように、事象系のエントロピーは偏りが少ないほど大きくなる。このケースでは、入れてやる \(H(X)\) が大きくなったために通る情報の量も多くなったとみることもできる。

課題3

通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} 1-p & p \\ p & 1-p \end{bmatrix} \end{eqnarray} \) の場合の通信路容量 \(C\) を、 \(p\) を使った形で記述せよ。

\(\alpha=\frac{1}{2}\) とすると (7) 式右辺の第3項の対数の係数部分は \(p+\alpha-2\alpha p=p+\frac{1}{2}-p=\frac{1}{2}\) となる。第4項の方も同様なので、\(C\)、つまり (7) 式の \(\alpha\) に1/2を入れたものは

\( \begin{eqnarray} &&C\\ =&&\left.I(Y,X)\right|_{\alpha=1/2}\\ =&&p\log p+(1-p)\log(1-p)-\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\\ =&&p\log p+(1-p)\log(1-p)+1 \end{eqnarray} \)

課題4

課題3のケースで、\(p=\frac{1}{10}\) の場合の通信路容量 \(C\) の値を求めよ。ただし、\(\log3=1.585, \log5=2.322\) として、四捨五入して小数第二位まで求めること。

課題3で求めた通信路容量の式で \(p=\frac{1}{10}\) とすると
\( \begin{eqnarray} C &&=\frac{1}{10}\log\frac{1}{10}+\frac{9}{10}\log\frac{9}{10}+1\\ &&=-\frac{1}{10}\log10-\frac{9}{10}\log\frac{10}{9}+1\\ &&=-\frac{1}{10}\log10-\frac{9}{10}\left(\log10-\log9\right)+1\\ &&=\left(-\frac{1}{10}-\frac{9}{10}\right)\log10+\frac{9}{10}\log9+1\\ &&=-\left(1+\log5\right)+\frac{9}{10}\times 2\log3+1\\ &&=-\log5+\frac{9}{5}\log3\\ &&≒-2.322+1.8\times1.585\\ &&=0.531\\ &&≒0.53\\ \end{eqnarray} \)
\(\alpha=1/2\) のときは \(H(X), H(Y)\) のどちらも1になる。それに対して \(C\) が0.5くらいになるということは、大雑把にいうと、「10%の確率で変化する通信路では、実質的に通れる情報量は元の半分くらい」ということを意味する。

課題5

課題3のケースで、\(p=\frac{1}{16}\) の場合の通信路容量の値を求めよ。ただし、\(\log3=1.585, \log5=2.322\) として、四捨五入して小数第二位まで求めること。

課題3で求めた通信路容量の式で \(p=\frac{1}{2}\) とすると
\( \begin{eqnarray} C &&=\frac{1}{16}\log\frac{1}{16}+\frac{15}{16}\log\frac{15}{16}+1\\ &&=-\frac{1}{16}\log16-\frac{15}{16}\log\frac{16}{15}+1\\ &&=-\frac{1}{16}\log16-\frac{15}{16}\left(\log16-\log15\right)+1\\ &&=\left(-\frac{1}{16}-\frac{15}{16}\right)\log16+\frac{15}{16}\log15+1\\ &&=-\log16+\frac{15}{16}\left(\log3+\log5\right)+1\\ &&=-4+\frac{15}{16}\left(\log3+\log5\right)+1\\ &&≒-3+\frac{15}{16}\left(1.585+2.322\right)\\ &&=0.6628125\\ &&≒0.66\\ \end{eqnarray} \)
この値は課題4のときよりも大きい。これは変化の確率が小さい分、通信路を通る情報の量が増えたことを意味する。
通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} 1/2 & 1/2 \\ 1/2 & 1/2 \end{bmatrix} \end{eqnarray} \) の場合、つまり変化するかしないかの確率が半々の場合は、\(C\) の値は0になる。例えば出力0を得た場合は、「入力信号としては0で、通信路で変化しなかった」「入力信号としては1で、通信路で変化した」の2通りだが、その確率は同じになる。出力1を得た場合も同様。要するに、出力を見てももともと何だったかの手がかりは全く得られない。つまり、通信路を通った情報は全くなかったということになる。
通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} 0 & 1 \\ 1 & 0 \end{bmatrix} \end{eqnarray} \) の場合、つまり絶対に変化する通信路では、入力が0なら出力は1, 入力が1なら出力は0になる。この場合の \(C\) を計算すると1になり、 \(H(X), H(Y)\) の値と等しくなる。このことは、(符号の見た目は変わるものの)、情報は全く失われずに通信路を通れるということを意味する。
inserted by FC2 system