このうちの重なり部分、つまり相互情報量が「実質的に通信路を通った情報の量」にあたる。これが多ければ通信路をたくさんの情報が通れる、つまり通信路の性能が良いことになる。
左の三日月 \(H(X|Y)\) は「出力について知っていても入力についてわからないこと」→「通信路を通れなかった情報の量」
右の三日月 \(H(Y|X)\) は「入力について知っていても出力についてわからないこと」→「変化・消失でできたゴミ情報の量」
にあたる。
右の三日月 \(H(Y|X)\) は「入力について知っていても出力についてわからないこと」→「変化・消失でできたゴミ情報の量」
にあたる。
0が確率 \(\alpha\) で発生する情報源事象系 \(X\) の信号を変化の確率が \(p\) の2元対称通信路 \(T\) に通す場合について、この相互情報量を考えてみる。
\(X\) と \(T\) は以下のように書き下せる。
\(
\begin{eqnarray}
X&=&
\begin{bmatrix}
x_0 & x_1 \\
\alpha & 1-\alpha
\end{bmatrix}
\cdots(1)\\
T&=&
\begin{bmatrix}
1-p & p \\
p & 1-p
\end{bmatrix}
\end{eqnarray}
\)
前回の課題3, 4で計算したように、出力が0, 1になる確率は
| \( \begin{eqnarray} P_y=&&P_xT\\ =&& \begin{bmatrix} \alpha, & 1-\alpha \end{bmatrix} \begin{bmatrix} 1-p & p \\ p & 1-p \end{bmatrix}\\ =&& \begin{bmatrix} \alpha(1-p)+(1-\alpha)p, & \alpha p+(1-\alpha)(1-p) \end{bmatrix}\\ =&& \begin{bmatrix} p+\alpha-2\alpha p, & 1-p-\alpha+2\alpha p \end{bmatrix} \end{eqnarray} \) |
のように計算できるので、出力信号の事象系は
| \( Y= \begin{bmatrix} y_0 & y_1 \\ p+\alpha-2\alpha p & 1-p-\alpha+2\alpha p \end{bmatrix} \cdots(2) \) |
となる。さらに、 \(X\) と \(Y\) の結合事象系 \(XY\) を考えると、それを構成する事象は
| 事象 | 意味 |
|---|---|
| \(x_0,y_0\) | 入力が0、出力が0 (変化しない) |
| \(x_1,y_0\) | 入力が1、出力が0 (変化する) |
| \(x_0,y_1\) | 入力が0、出力が1 (変化する) |
| \(x_1,y_1\) | 入力が1、出力が1 (変化しない) |
| \( XY= \begin{bmatrix} x_0,y_0 & x_1,y_0 & x_0,y_1 & x_1,y_1 \\ \alpha(1-p) & (1-\alpha)p & \alpha p & (1-\alpha)(1-p) \end{bmatrix} \cdots(3) \) |
(1) から
| \( H(X)=-\alpha\log\alpha-(1-\alpha)\log(1-\alpha)\cdots(4) \) |
(2) から
| \( H(Y)=-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\cdots(5) \) |
(3) から
| \( \begin{eqnarray} &&H(XY)\\ =&&-\alpha(1-p)\log\{\alpha(1-p)\}\\ &&-(1-\alpha)p\log\{(1-\alpha)p\}\\ &&-\alpha p\log(\alpha p)\\ &&-(1-\alpha)(1-p)\log\{(1-\alpha)(1-p)\}\\ =&&-\alpha\log\alpha -(1-\alpha)\log(1-\alpha) -p\log p -(1-p)\log(1-p)\cdots(6) \end{eqnarray} \) |
一方、第04回の (6) の関係式
\(
H(XY)=H(X)+H(Y)-I(Y,X)
\)
を変形すれば
\(
I(Y,X)=H(X)+H(Y)-H(XY)
\)
という形になる。ここで (4)～(6) の結果の形を使うと
| \( \begin{eqnarray} &&I(Y,X)\\ =&&H(X)+H(Y)-H(XY)\\ =&&-\cancel{\alpha\log\alpha}-\cancel{(1-\alpha)\log(1-\alpha)}\\ &&-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)\\ &&-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\\ &&-\{-\cancel{\alpha\log\alpha} -\cancel{(1-\alpha)\log(1-\alpha)} -p\log p -(1-p)\log(1-p)\}\\ =&&p\log p+(1-p)\log(1-p)\\ &&-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)\\ &&-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\cdots(7) \end{eqnarray} \) |