前回の課題5の導出過程と枠線内の説明より、
\(
\begin{eqnarray}
&&H(X)=\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\
&&H(X|Y)=\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}
\end{eqnarray}
\)
なので、
\(
\begin{eqnarray}
&&I(X,Y)\\
=&&H(X)-H(X|Y)\\
=&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}
-\left(\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}\right)\\
=&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}
-\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\\
=&&0.048...\\
≒&&0.05
\end{eqnarray}
\)
よって、\(I(X,Y)=0.05\) ビット となる。
導出の下から3行目は概要の枠線内の説明の \(I(Y,X)\) のものと一見違う形に見えるが、それぞれ対数の性質を使って変形すれば
となり、小数第二位までの値だけでなく完全に等しいことがわかる (こうした方が電卓への入力も楽になる)。
| \( \begin{eqnarray} I(Y,X)&=&1-\frac{3}{8}\log\frac{5}{3}-\frac{1}{4}\log\frac{5}{2}-\frac{1}{8}\log3-\frac{1}{4}\log\frac{3}{2}\\ &=&1-\frac{3}{8}(\log5-\log3)-\frac{1}{4}(\log5-1)-\frac{1}{8}\log3-\frac{1}{4}(\log3-1)\\ &=&\frac{4+1+1}{4}-\left(\frac{3}{8}+\frac{1}{4}\right)\log5+\left(\frac{3}{8}-\frac{1}{8}-\frac{1}{4}\right)\log3\\ &=&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \) |
| \( \begin{eqnarray} I(X,Y)&=&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}-\frac{3}{8}\log\frac{4}{3}-\frac{3}{4}\\ &=&\frac{5}{8}(3-\log5)+\frac{3}{8}(3-\log3)-\frac{3}{8}(2-\log3)-\frac{3}{4}\\ &=&\frac{15+9-6-6}{8}-\frac{5}{8}\log5+\left(-\frac{3}{8}+\frac{3}{8}\right)\log3\\ &=&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \) |
となり、小数第二位までの値だけでなく完全に等しいことがわかる (こうした方が電卓への入力も楽になる)。
前回求めた (四捨五入して小数第二位までにした) 最終的な数値は
それぞれの値の差から正確な値を求めるには、必要とする桁よりも下の桁まで求めておく必要がある。
正確に求めるには、それぞれ小数にせずに今回のように相互情報量を対数で表わした形から求めるのがよい。
\(H(X)=0.95\) ビット
\(H(X|Y)=0.91\) ビット
\(H(Y)=1\) ビット
\(H(Y|X)=0.95\) ビット
で、これらを使って相互情報量を計算すると
\(H(X|Y)=0.91\) ビット
\(H(Y)=1\) ビット
\(H(Y|X)=0.95\) ビット
\(I(X,Y)=H(X)-H(X|Y)=0.95-0.91=0.04\) ビット
\(I(Y,X)=H(Y)-H(Y|X)=1-0.95=0.05\) ビット
となり、異なる結果になってしまう。これは、四捨五入による誤差が累積してしまったせい。\(I(Y,X)=H(Y)-H(Y|X)=1-0.95=0.05\) ビット
それぞれの値の差から正確な値を求めるには、必要とする桁よりも下の桁まで求めておく必要がある。
正確に求めるには、それぞれ小数にせずに今回のように相互情報量を対数で表わした形から求めるのがよい。