第03回　条件付き確率とエントロピー　課題解答例

課題1

事象系 \(Y\) の結果が \(y_p\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_p)\) を記述せよ。

出た目は2, 3, 5, 7の4パターンで、6以下のものは2, 3, 5の3つ、7以上のものは7の1つだけなので、事象系は以下のようになる。
\( X(y_p)= \begin{bmatrix} x_s|y_p & x_b|y_p \\ \frac{3}{4} & \frac{1}{4} \end{bmatrix}\\ \)
事象の書き方に注意。\(x_s|y_p\) の \(x_s\) と \(y_p\) の間は鉛直な線。分数ではないので \(x_s/y_p\) と書くのは誤り。

課題2

事象系 \(Y\) の結果が \(y_c\) だったことがわかっている場合の事象系 \(X\)、つまり \(X(y_c)\) を記述せよ。

出た目は4, 6, 8, 9の4パターンで、6以下のものは4, 6の2つ、7以上のものは8, 9の2つなので、事象系は以下のようになる。
\( X(y_c)= \begin{bmatrix} x_s|y_c & x_b|y_c \\ \frac{1}{2} & \frac{1}{2} \end{bmatrix}\\ \)
それぞれの確率を「2/4」としても正解ではあるが、約分して書くのが一般的。

課題3

課題1で求めた事象系 \(X(y_p)\) のエントロピー \(H(X|y_p)\) を求めよ。ただし、第1項は対数の形をそのまま残し、第2項は \(\log_24=2\) であることを使って最も単純な形に変形すること。また、単位も書くこと。

エントロピーの定義より、
\( \begin{eqnarray} H(X|y_p) &=& -\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4}\\ &=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{4}\log4\\ &=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{4}\times2\\ &=& \frac{3}{4}\log\frac{4}{3}+\frac{1}{2} \end{eqnarray} \)

なので、\(H(X|y_p)=\frac{3}{4}\log\frac{4}{3}+\frac{1}{2}\) (ビット) となる。

第1項を分解して
\( \begin{eqnarray} H(X|y_p) &=& -\frac{3}{4}\log\frac{3}{4}-\frac{1}{4}\log\frac{1}{4}\\ &=& -\frac{3}{4}\left(\log3-\log4\right)+\frac{1}{4}\log4\\ &=& -\frac{3}{4}\log3+\left(\frac{3}{4}+\frac{1}{4}\right)\log4\\ &=& -\frac{3}{4}\log3+1\times2\\ &=& -\frac{3}{4}\log3+2 (ビット) \end{eqnarray} \)

としも正解としたが、課題5で電卓を使うのでここまで手間をかける必要はない。問題文の「ただし～」の条件を参照。

課題4

課題2で求めた事象系 \(X(y_c)\) のエントロピー \(H(X|y_c)\) を求めよ。ただし、\(\log_22=1\) であることを使い、最も単純な形まで変形すること。また、単位も書くこと。

エントロピーの定義より、
\( \begin{eqnarray} H(X|y_c) &=& -\frac{1}{2}\log\frac{1}{2}-\frac{1}{2}\log\frac{1}{2}\\ &=& \frac{1}{2}\log2+\frac{1}{2}\log2\\ &=& \frac{1}{2}+\frac{1}{2}\\ &=& 1\\ \end{eqnarray} \)

なので、\(H(X|y_c)=1\) (ビット) となる。

課題5

課題3, 4の結果から、事象系 \(Y\) の結果がわかっているときの事象系 \(X\) のエントロピー \(H(X|Y)\) を求めよ。ただし、概要の(7)式と同じレベルの導出過程を書き、最終的な結果は四捨五入して小数第二位までにすること。

考え方は (5)式, (6)式から(7)式を使って \(H(Y|X)\) の値を求めたときと同様で、\(X\) と \(Y\) に関わるものが逆になる。\(p_p, p_c\) の値は(2)式を見ればわかる。
\( \begin{eqnarray} &&H(X|Y)\\ =&&\displaystyle \sum_i p_i H(X|y_i)\\ =&&p_p H(X|y_p)+p_c H(X|y_c)\\ =&&\frac{1}{2}\left(\frac{3}{4}\log\frac{4}{3}+\frac{1}{2}\right)+\frac{1}{2}\times1\\ =&&\frac{3}{8}\log\frac{4}{3}+\frac{1}{4}+\frac{1}{2}\\ =&&\frac{3}{8}\log\frac{4}{3}+\frac{3}{4}\\ =&&0.905...\\ ≒&&0.91 \end{eqnarray} \)

なので、\(H(X|Y)=0.91\) (ビット) となる。

事象系 \(Y\) の結果がわかっていないときの事象系 \(X\) のエントロピーは、(1)式より
\( \begin{eqnarray} H(X) &=& -\frac{5}{8}\log\frac{5}{8}-\frac{3}{8}\log\frac{3}{8}\\ &=& \frac{5}{8}\log\frac{8}{5}+\frac{3}{8}\log\frac{8}{3}\\ &=& 0.954...\\ &≒& 0.95 (ビット) \end{eqnarray} \)

で、 \(H(X)>H(X|Y)\) という関係が成り立つ。
概要の3つ目の囲みの説明と同様に、これは「\(Y\) の結果がわかったことで \(X\) についても未確定なことが少し減った」と解釈できる。

全般的な注意

添え字の意味を理解する
課題1、課題2の「\(x_s\)」の部分が「\(x_8\)」になっている人が多数、「\(x_3\)」になっている人もいた。
概要の説明にある通り、「s」は「small」の頭文字に由来するもの。

文字の書き分けはきちんと
右上の小さい文字、右下の小さい文字は位置・大きさをきちんと書き分ける必要がある。
\(\log_22^2\) を \(\log22^2\) や \(\log_222\) のように書いたり、\(y_c\) を \(yc\) や \(y^c\) のように書いたりすると、本来と全く違う意味になってしまう。
「.」(ドット、小数点) と「,」(コンマ) と「、」(読点) の書き分けにも注意。
inserted by FC2 system