第07回 エントロピー

復習 : 事象系・情報量

概要

事象系とは、すべての事象 (出来事) とそれが起こる確率をまとめたもの。例えば
\(x_0\) : 符号0が発生する
\(x_1\) : 符号1が発生する

という2つの事象が起こる確率がどちらも1/2だとすると、これらからなる事象系 \(X_1\) はこのようになる。
\( X_1= \begin{bmatrix} x_0 & x_1\cr \frac{1}{2} & \frac{1}{2} \end{bmatrix} \)

一方、一つの事象が起こったことを知ることによって増える情報の量のことを情報量と呼び、その確率が \(p\) の場合は
\(I=-\log p\)

で求められる。情報量が確率の関数であることを明示するため、
\(I(p)=-\log p\)

のように書くこともある。

課題1

モールス信号の「・」「-」「 」(空白) が発生する事象をそれぞれ \(y_{dot}, y_{dash}, y_{blank}\) とし、\(y_{dot}, y_{dash}\) が起こる確率がどちらも2/5であるとき、この3つの事象からなる事象系 \(Y\) を記述せよ。
\(y_{blank}\) が起こる確率は計算して求める。

課題2

課題1の事象系の3つの事象について、それが起こったことを知って得られる情報量を求めよ (\(\log5\) の近似値 2.322 は使わず、\(\log5\) を残した形で書く)。
確率が同じなので、\(y_{dot}, y_{dash}\) に対応する情報量は同じになる。
回答のしかたは「\(y_{dot}, y_{dash}\) に対応する情報量は**、\(y_{blank}\) に対応する情報量は**」のようにする。
対数の性質を使って式を変形する。忘れた場合は第1回の資料を参照。

エントロピー : 情報量の平均

概要

事象系では、定義上すべての事象が起こる確率がわかっている。そのため、それぞれに対応する情報量も計算できる。
\(n\) 個の事象をもつ事象系は一般的に
\( X= \begin{bmatrix} x_1 & x_2 & … & x_n\cr p_1 & p_2 & … & p_n \end{bmatrix} \)

のように書ける。事象系全体での情報量の平均値は (確率)×(情報量) を足しあげれば求められるので、以下のような形になる。
\( \displaystyle \sum_{i=1}^n p_iI\left(p_i\right) \)

一方、\(x_i\) に対応する情報量は、\(I(p_i) = -\log p_i\) なので、この平均値は以下のように書ける。
\( \displaystyle \sum_{i=1}^n p_i\left(-\log p_i\right) \)

この量のことをエントロピーと呼び、記号 \(H\) を使って表す。これが情報源 \(X\) の性質を表すことを明示するため、 \(H(X)\) のように書くこともある。
\( H(X) = -\displaystyle \sum_{i=1}^n p_i\log p_i \)

今回の最初の例 (0, 1の発生する確率が1/2である事象系 \(X_1\)) では
\( \begin{eqnarray} H(X_1) &=& -\displaystyle \sum_{i=1}^2 p_i\log p_i\cr &=& -\frac{1}{2}\left(\log\frac{1}{2}\right)-\frac{1}{2}\left(\log\frac{1}{2}\right)\cr &=& -\frac{1}{2}\left(-\log2\right)-\frac{1}{2}\left(-\log2\right)\cr &=& \frac{1}{2}+\frac{1}{2}\cr &=& 1 \end{eqnarray} \)

となる。

一方、0の方が1より多く発生する
\( X_2= \begin{bmatrix} x_0 & x_1\cr \frac{3}{4} & \frac{1}{4} \end{bmatrix} \)

という事象系では、
\( \begin{eqnarray} H(X_2) &=& -\displaystyle \sum_{i=1}^2 p_i\log p_i\cr &=& -\frac{3}{4}\left(\log\frac{3}{4}\right)-\frac{1}{4}\left(\log\frac{1}{4}\right)\cr &=& \frac{3}{4}\left(\log\frac{4}{3}\right)+\frac{1}{4}\log4\cr &=& \frac{3}{4}\log4-\frac{3}{4}\log3+\frac{1}{4}\log4\cr &=& \log4-\frac{3}{4}\log3\cr &≒& 2-0.75\times1.585\cr &=& 0.81125\cr &≒& 0.81 \end{eqnarray} \)

のようになる。この値は偏りのない事象系のエントロピー \(H(X_1)\) に比べると小さい。
エントロピーは「結果を知る前の時点で、不明な情報がどれくらいあるか」を表す量と考えることができる。
偏りがないときは「0か1か」の手がかりが全くないが、0の方が出やすいことがわかっているときは、事前にその傾向がわかっているので不明な情報が少なく、エントロピーが小さくなる。
横軸に0が発生する確率、縦軸にエントロピーを取ったグラフはこういう形になる。


図からわかるように、0か1のどちらが極端に多く出る場合は、エントロピーは0に近づく。これは「結果を知るまでもなくほぼ予想がつく」、つまり「エントロピー(不明な情報)がほとんどない」ということを意味する。

課題3

以下の事象系のエントロピー \(H(X_3)\) を求めよ (\(\log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。
\( X_3= \begin{bmatrix} x_0 & x_1\cr \frac{4}{5} & \frac{1}{5} \end{bmatrix} \)

課題4

以下の事象系のエントロピー \(H(X_4)\) を求めよ (\(\log3 ≒ 1.585, \log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。
\( X_4= \begin{bmatrix} x_0 & x_1\cr \frac{9}{10} & \frac{1}{10} \end{bmatrix} \)

課題5

課題1の事象系のエントロピー \(H(Y)\) を求めよ。 (\(\log5 ≒ 2.322\) とし、四捨五入して小数第二位までにする)。
課題2で求めたそれぞれの事象に対応する情報量と、それが起こる確率をかけて足しあげれば求められる。
inserted by FC2 system