第09回　通信路容量　課題解答例

課題1

入力信号の事象系が \( \begin{eqnarray} X_1&=& \begin{bmatrix} x_0 & x_1 \\ 0.3 & 0.7 \end{bmatrix} \end{eqnarray} \) で、通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} 0.9 & 0.1 \\ 0.1 & 0.9 \end{bmatrix} \end{eqnarray} \) の場合の入力 \(X_1\) と出力 \(Y_1\) の相互情報量を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。

\(\alpha=0.3, p=0.1\) を (7)式第3項の対数の前後のカッコの中の部分に入れると

\( \begin{eqnarray} &&p+\alpha-2\alpha p\\ =&&0.3+0.1-2\times0.3\times0.1\\ =&&0.34 \end{eqnarray} \)

になる。第4項の対数の前後のカッコの中の値は1からこれを引いたものなので \(0.66\) となる。よって、

\( \begin{eqnarray} I(X,Y)=&&0.1\log0.1+0.9\log0.9-0.34\log0.34-0.66\log0.66\\ =&&0.455...\\ ≒&&0.46 \end{eqnarray} \)

なので、相互情報量は 0.46ビット。

課題2

入力信号の事象系が \( \begin{eqnarray} X_2&=& \begin{bmatrix} x_0 & x_1 \\ 0.5 & 0.5 \end{bmatrix} \end{eqnarray} \) で、課題1と同じ通信路を通した場合の入力 \(X_2\) と出力 \(Y_2\) の相互情報量を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。

\(\alpha=0.5, p=0.1\) を (7)式第3項の対数の前後のカッコの中の部分に入れると

\( \begin{eqnarray} &&p+\alpha-2\alpha p\\ =&&0.5+0.1-2\times0.5\times0.1\\ =&&0.5 \end{eqnarray} \)

になる。第4項の対数の前後のカッコの中の値は1からこれを引いたものなので、これも \(0.5\) となる。よって、

\( \begin{eqnarray} I(X,Y)=&&0.1\log0.1+0.9\log0.9-0.5\log0.5-0.5\log0.5\\ =&&0.531...\\ ≒&&0.53 \end{eqnarray} \)

なので、相互情報量は 0.53ビット。
定義より、これはこの通信路の通信路容量 \(C\) でもある。
\(\alpha=0.5\) の情報源事象系のエントロピーは1ビットなので、この結果は無事に伝わる情報量が半分程度であることを意味する。
「0」「1」が変化する確率が10%であることから直感的に連想される値とはかなり異なる。

課題3

\(p=0.01\) の2元対称通信路の通信路容量 \(C\) の値を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。

(8)式の \(p\) に \(0.01\) を入れると

\( \begin{eqnarray} C=&&0.01\log0.01+0.99\log0.99+1\\ =&&0.919...\\ ≒&&0.92 \end{eqnarray} \)

なので、通信路容量は 0.92ビット。

課題4

\(p=0.001\) の2元対称通信路の通信路容量 \(C\) の値を求めよ。ただし、計算結果は四捨五入して小数第二位まで求めること。

(8)式の \(p\) に \(0.001\) を入れると

\( \begin{eqnarray} C=&&0.001\log0.001+0.999\log0.999+1\\ =&&0.988...\\ ≒&&0.99 \end{eqnarray} \)

なので、通信路容量は 0.99ビット。
inserted by FC2 system