第08回　条件付き確率とエントロピー 課題解答例

課題1

事象系 \(Y\) の結果が \(y_p\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_p)\) を記述せよ。

素数であることは確定しているので、選んだのは2, 3, 5, 7のどれかになる。このうち6以下なのは3つ、7以上は1つなので、確率はそれぞれ3/4, 1/4になる。
\( X(y_p)= \begin{bmatrix} x_s|y_p & x_b|y_p \\ \frac{3}{4} & \frac{1}{4} \end{bmatrix}\\ \)

課題2

事象系 \(Y\) の結果が \(y_c\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_c)\) を記述せよ。

合成数であることは確定しているので、選んだのは4, 6, 8, 9のどれかになる。このうち6以下、7以上のものはそれぞれ2つずつあるので、確率はどちらも1/2になる。
\( X(y_c)= \begin{bmatrix} x_s|y_c & x_b|y_c \\ \frac{1}{2} & \frac{1}{2} \end{bmatrix}\\ \)

課題3

課題1で求めた事象系 \(X(y_p)\) のエントロピー \(H(X|y_p)\) を求めよ。ただし、\(\log3\) の近似値は使わず、\(\log3\) を残した形にすること。

課題1の結果から
\( \begin{eqnarray} &&H(X|y_p)\cr =&&-\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4}\cr =&&\frac{3}{4}\log\frac{4}{3}+\frac{1}{4}\log4\cr =&&\frac{3}{4}\left(\log4-\log3\right)+\frac{1}{4}\log4\cr =&&\left(\frac{3}{4}+\frac{1}{4}\right)\log4-\frac{3}{4}\log3\cr =&&\log4-\frac{3}{4}\log3\cr =&&2-\frac{3}{4}\log3 \end{eqnarray} \)

課題4

課題2で求めた事象系 \(X(y_c)\) のエントロピー \(H(X|y_c)\) を求めよ。

課題2の結果から
\( \begin{eqnarray} &&H(X|y_c)\cr =&&-\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\cr =&&1 \end{eqnarray} \)

課題5

課題3, 4の結果から、事象系 \(Y\) の結果がわかっているときの事象系 \(X\) のエントロピー \(H(X|Y)\) を求めよ。ただし、\(\log3≒1.585\) とし、四捨五入して小数第二位までにすること。

\(y_p\) が起こる確率は \(p_p=\frac{1}{2}\)、\(y_c\) が起こる確率は \(p_c=\frac{1}{2}\) なので、

\( \begin{eqnarray} &&H(X|Y)\\ =&&p_p\times H(X|y_p)+p_c\times H(X|y_c)\\ =&&\frac{1}{2}\left(2-\frac{3}{4}\log3\right)+\frac{1}{2}\\ =&&\frac{3}{2}-\frac{3}{8}\log3\\ ≒&&1.5-\frac{3×1.585}{8}\\ =&&0.905625\\ ≒&&0.91 \end{eqnarray} \)
inserted by FC2 system