第07回 エントロピー 課題解答例

課題1

モールス信号の「・」「-」「 」(空白) が発生する事象をそれぞれ \(y_{dot}, y_{dash}, y_{blank}\) とし、\(y_{dot}, y_{dash}\) が起こる確率がどちらも2/5であるとき、この3つの事象からなる事象系 \(Y\) を記述せよ。

\(y_{dot}, y_{dash}, y_{blank}\) が発生する確率をそれぞれ \(p(y_{dot}), p(y_{dash}), p(y_{blank})\) と書くと、\(p(y_{dot})+p(y_{dash})+p(y_{blank})=1\) が成り立つので

\( \begin{eqnarray} p(y_{blank})&=&1-p(y_{dot})-p(y_{dash})\cr &=&1-\frac{2}{5}-\frac{2}{5}\cr &=&\frac{1}{5} \end{eqnarray} \)

が成り立つ。よって、事象系 \(Y\) は以下のようになる。
\( Y= \begin{bmatrix} y_{dot} & y_{dash} & y_{blank}\cr \frac{2}{5} & \frac{2}{5} & \frac{1}{5} \end{bmatrix} \)

上の解答例では確率を \(p(y_{dot}), p(y_{dash}), p(y_{blank})\) と書いたが、特に決まりはない。こう書くかわりに \(p_{dot}, p_{dash}, p_{blank}\) とするケースもよくある。回答の際に「~を~とする」のように明記していれば問題ない。
もっとも、 \(y_{dot}, y_{dash}, y_{blank}\) は事象をあらわす記号としてすでに定義されているので、確率の記号としてこれらを使うことは許されない。
(\(y_{blank}=\frac{1}{5}\) のように書いた人が多数いたが、これは誤り)

課題2

課題1の事象系の3つの事象について、それが起こったことを知って得られる情報量を求めよ (\(\log5\) の近似値 2.322 は使わず、\(\log5\) を残した形で書く)。

\(y_{dot}, y_{dash}\) に対応する情報量は
\( \begin{eqnarray} I\left(\frac{2}{5}\right) &=& -\log\frac{2}{5}\cr &=& \log\frac{5}{2}\cr &=& \log5-\log2\cr &=& \log5-1 \end{eqnarray} \)

で、\(y_{blank}\) に対応する情報量は
\( \begin{eqnarray} I\left(\frac{1}{5}\right) &=& -\log\frac{1}{5}\cr &=& \log5\cr \end{eqnarray} \)

となる。

課題3

以下の事象系のエントロピー \(H(X_3)\) を求めよ (\(\log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。
\( X_3= \begin{bmatrix} x_0 & x_1\cr \frac{4}{5} & \frac{1}{5} \end{bmatrix} \)


それぞれの確率から
\( \begin{eqnarray} &&H\left(X_3\right)\cr =&& -\frac{4}{5}\log\left(\frac{4}{5}\right)-\frac{1}{5}\log\left(\frac{1}{5}\right)\cr =&& \frac{4}{5}\log\left(\frac{5}{4}\right)+\frac{1}{5}\log5\cr =&& \frac{4}{5}\left(\log5-\log4\right)+\frac{1}{5}\log5\cr =&& \left(\frac{4}{5}+\frac{1}{5}\right)\log5-\frac{4}{5}\log4\cr =&& \log5-\frac{4}{5}\times2\cr ≒&& 2.322-1.6\cr =&& 0.722\cr ≒&& 0.72 \end{eqnarray} \)

となる。

課題4

以下の事象系のエントロピー \(H(X_4)\) を求めよ (\(\log3 ≒ 1.585, \log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。
\( X_4= \begin{bmatrix} x_0 & x_1\cr \frac{9}{10} & \frac{1}{10} \end{bmatrix} \)


それぞれの確率から
\( \begin{eqnarray} &&H\left(X_4\right)\cr =&& -\frac{9}{10}\log\left(\frac{9}{10}\right)-\frac{1}{10}\log\left(\frac{1}{10}\right)\cr =&& \frac{9}{10}\log\left(\frac{10}{9}\right)+\frac{1}{10}\log10\cr =&& \frac{9}{10}\left(\log10-\log9\right)+\frac{1}{10}\log10\cr =&& \left(\frac{9}{10}+\frac{1}{10}\right)\log10-\frac{9}{10}\log9\cr =&& \log10-\frac{9}{10}\times2\times\log3\cr =&& \log5+1-\frac{9}{5}\log3\cr ≒&& 2.322+1-1.8\times1.585\cr =&& 0.469\cr ≒&& 0.47 \end{eqnarray} \)

となる。

課題5

課題1の事象系のエントロピー \(H(Y)\) を求めよ。 (\(\log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。

それぞれの事象に対応する情報量は課題2ですでに求めてあるので、それを使って
\( \begin{eqnarray} &&H\left(Y\right) \cr =&& \displaystyle \sum_{i=1}^3 p_iI(p_i)\cr =&& \frac{2}{5}\left(\log5-1\right)+\frac{2}{5}\left(\log5-1\right)+\frac{1}{5}\log5\cr =&& \frac{4}{5}\left(\log5-1\right)+\frac{1}{5}\log5\cr =&& \left(\frac{4}{5}+\frac{1}{5}\right)\log5-\frac{4}{5}\cr =&& \log5-\frac{4}{5}\cr ≒&& 2.322-0.8\cr =&& 1.522\cr ≒&& 1.52 \end{eqnarray} \)

となる。
\(Y\) は3つの事象の発生確率がは均等でない偏った事象系だが、事象の数が3つあるので、エントロピーは「均等で事象の数が2つの事象系 \(X_1\) のエントロピー」 \(H(X_1)=1\) よりも大きい値 (わからないことが多い) になる。
パターン数が多いので、このこと自体はエントロピーの定義とは矛盾しない。
事象の数が同じもの同士で比べれば、「偏っているほどエントロピーが小さい」という傾向は成り立つ。
実際、「均等で事象の数が3つの事象系 \(Z\) のエントロピー」 \( H(Z)=-\frac{1}{3}\log\left(\frac{1}{3}\right)\times3=\log3≒1.58 \) と比べれば \(H(Y)\) は小さい。
inserted by FC2 system