- \(I(Y,X)\) : 事象系 \(X\) の結果が確定することで得られる、事象系 \(Y\) に関する情報量
- \(I(X,Y)\) : 事象系 \(Y\) の結果が確定することで得られる、事象系 \(X\) に関する情報量
書き方のルール
相互情報量と通常のエントロピー、条件付きエントロピーには以下のような関係がある。
- コンマの前が未確定の事象系
- コンマの後が確定済みの事象系
\(
I(Y,X)+H(Y|X)=H(Y) \cdots (1)
\)
これは、それぞれの項の意味が
| \(I(Y,X)\) | \(X\) の結果を知ることで \(Y\) について確定すること |
| \(H(Y|X)\) | \(X\) の結果を知っているときに \(Y\) について未確定なこと |
| \(H(Y)\) | \(X\) の結果を知らないときに \(Y\) について未確定なこと |
このことは以下のような図で説明することもできる。 \(X\) と \(Y\) に相関があるので、「未確定なこと」には重なりがあり、
のようになる。「\(X\) の結果を知っているときに \(Y\) について未確定なこと」、つまり \(H(Y|X)\) は
のようになる。一方、「\(X\) の結果を知ることで \(Y\) について確定すること」、つまり \(I(Y,X)\) はちょうどこの欠けた部分
にあたる。これらを足せばもとの右側の円、つまり \(H(Y)\) になる。
さらにこの図を左右逆にして考えれば、(1) の \(X\) と \(Y\) を入れ替えた以下の関係も同様に成り立つことがわかる。
\(I(X,Y)+H(X|Y)=H(X) \cdots (2)\)
(1), (2)式の \(H(Y|X)\), \(H(X|Y)\) を右辺に移項すると、もとのエントロピーと条件付きエントロピーから相互情報量を求める式が得られる。
\(I(Y,X)=H(Y)-H(Y|X) \cdots (3)\)
\(I(X,Y)=H(X)-H(X|Y) \cdots (4)\)
\(I(X,Y)=H(X)-H(X|Y) \cdots (4)\)
\(I(X,Y)\) と \(I(Y,X)\) の意味は別のものだが、図を見ればこれらの実態は同じものであり、その値も等しいことがわかる。
第3回で扱った事象系 \(X\) と \(Y\) では、それぞれ
であった (第3回の概要の解説を参照)。これを(3)式に入れると
となる。
\(\begin{eqnarray}H(Y)=1\end{eqnarray}\) (ビット)
\(\begin{eqnarray}H(Y|X)=\frac{3}{8}\log\frac{5}{3}+\frac{1}{4}\log\frac{5}{2}+\frac{1}{8}\log3+\frac{1}{4}\log\frac{3}{2}\end{eqnarray}\) (ビット)
\(\begin{eqnarray}H(Y|X)=\frac{3}{8}\log\frac{5}{3}+\frac{1}{4}\log\frac{5}{2}+\frac{1}{8}\log3+\frac{1}{4}\log\frac{3}{2}\end{eqnarray}\) (ビット)
であった (第3回の概要の解説を参照)。これを(3)式に入れると
\(\begin{eqnarray}
&&I(Y,X)\\
=&&H(Y)-H(Y|X)\\
=&&1-\frac{3}{8}\log\frac{5}{3}-\frac{1}{4}\log\frac{5}{2}-\frac{1}{8}\log3-\frac{1}{4}\log\frac{3}{2}\\
=&&0.048...\\
≒&&0.05 (ビット)
\end{eqnarray}
\)
となる。
