第09回　相互情報量と結合エントロピー 課題解答例

課題1

前回の課題で扱った事象系、つまり2～9の整数からランダムに1つ選んだ結果から作った事象系 \(X\) (\(x_s\)(6以下), \(x_b\)(7以上)) と事象系 \(Y\) (\(y_p\)(素数), \(y_c\)(合成数)) について、\(H(X), H(Y)\) の値を求めよ。ただし、対数の近似値は使わず、\(\log3, \log5\) を残した形にする。

それぞれエントロピーの定義から以下のようになる。
\( \begin{eqnarray} &&H(X)\\ =&&-\frac{5}{8}\log\frac{5}{8}-\frac{3}{8}\log\frac{3}{8}\\ =&&\frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\ =&&\frac{5}{8}\left(\log8-\log5\right)+\frac{3}{8}\left(\log8-\log3\right)\\ =&&\left(\frac{5}{8}+\frac{3}{8}\right)\log8-\frac{5}{8}\log5-\frac{3}{8}\log3\\ =&&3-\frac{5}{8}\log5-\frac{3}{8}\log3\\ \\ &&H(Y)\\ =&&-\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\\ =&&\frac{1}{2}+\frac{1}{2}\\ =&&1 \end{eqnarray} \)

課題2

前回の課題で扱った事象系 \(X, Y\) について、\(I(Y,X)\) の値を求めよ。ただし、対数の近似値は使わず、\(\log5\) を残した形にする。

前回の「条件付きエントロピー」の概要の説明から
\(H(Y|X)=\frac{5}{8}\log5-\frac{1}{2}\)

で、今回の課題1の結果から
\(H(Y)=1\)

がわかっているので、(1)を変形した形から
\( \begin{eqnarray} &&I(Y,X)\\ =&&H(Y)-H(Y|X)\\ =&&1-\left(\frac{5}{8}\log5-\frac{1}{2}\right)\\ =&&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \)

課題3

前回の課題で扱った事象系 \(X, Y\) について、\(I(X,Y)\) の値を求めよ。ただし、対数の近似値は使わず、\(\log5\) を残した形にする。

前回の課題5の計算の途中過程から
\(H(X|Y)=\frac{3}{2}-\frac{3}{8}\log3\)

で、今回の課題1の結果から
\(H(X)=3-\frac{5}{8}\log5-\frac{3}{8}\log3\)

がわかっているので、(2)を変形した形から
\( \begin{eqnarray} &&I(X,Y)\\ =&&H(X)-H(X|Y)\\ =&&3-\frac{5}{8}\log5-\frac{3}{8}\log3-\left(\frac{3}{2}-\frac{3}{8}\log3\right)\\ =&&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \)

となる。これは課題2の結果と一致する。

課題4

(3) の結合事象系から \(H(XY)\) を求めよ。ただし、対数の近似値は使わず、\(\log3\) を残した形にする。

エントロピーの定義から
\( \begin{eqnarray} &&H(XY)\cr =&&-\frac{3}{8}\log\frac{3}{8}-\frac{1}{4}\log\frac{1}{4}-\frac{1}{8}\log\frac{1}{8}-\frac{1}{4}\log\frac{1}{4}\cr =&&\frac{3}{8}\left(3-\log3\right)+\frac{1}{4}\times2+\frac{1}{8}\times3+\frac{1}{4}\times2\\ =&&\frac{9+4+3+4}{8}-\frac{3}{8}\log3\\ =&&\frac{5}{2}-\frac{3}{8}\log3 \end{eqnarray} \)

課題5

前回の課題で扱った事象系 \(X, Y\) について、(4)式の右辺の値を求めよ。ただし、対数の近似値は使わず、\(\log3\) を残した形にする。

これまでの課題の結果から
\( \begin{eqnarray} H(X)&=&3-\frac{5}{8}\log5-\frac{3}{8}\log3\\ H(Y)&=&1\\ I(Y,X)&=&\frac{3}{2}-\frac{5}{8}\log5 \end{eqnarray} \)
なので、(4)式の右辺は
\( \begin{eqnarray} &&H(X)+H(Y)-I(Y,X)\\ =&&3-\frac{5}{8}\log5-\frac{3}{8}\log3+1-\left(\frac{3}{2}-\frac{5}{8}\log5\right)\\ =&&3+1-\frac{3}{2}-\frac{3}{8}\log3+\left(-\frac{5}{8}+\frac{5}{8}\right)\log5\\ =&&\frac{5}{2}-\frac{3}{8}\log3 \end{eqnarray} \)
となる。この値は課題4の結果と等しい。
inserted by FC2 system