第01回 情報量

情報通信の流れ

概要

現代の情報通信で人間が使う文字や画像などを送るには、まずそれらを0と1の組み合わせに置き換えてやる必要がある。この置き換えのことを情報源符号化と呼び、0と1の並びに置き換えられたもののことを符号という。
こんにちは...
↓ 情報源符号化
011001100...

また、第三者に情報を読み取られることを防ぐため、特定のルールに従って符号を別の形に変換する。この処理のことを暗号化という。
011001100...
↓暗号化
101110010...

さらに、LANケーブルなどを情報が通る際にノイズの影響などで符号が変化してしまったときに、変化が起こったかどうかをチェックしたり、変化前の状態にもどすためにチェック用の符号を追加する。この処理を通信路符号化という。
101110010...
↓通信路符号化
101011000101...


この3つの処理の結果得られた符号を、LANケーブルやWi-Fiの電波 (通信路) を通して送る。情報を受け取った側では、まずノイズの影響で変化が起きたかどうかをチェックするとともにチェック用の符号を取り除いて元の状態に戻し (通信路復号)、暗号化の逆の変換 (復号) を行い、情報源符号化の逆の置き換え (情報源復号) を行う。これで元の文や画像などが受け渡されることになる。
こんにちは...
こんにちは...
↓情報源符号化 ↑情報源復号
011001100...
011001100...
↓暗号化 ↑復号
101110010...
101110010...
↓通信路符号化 ↑通信路復号
1011100101...

送信(低確率で変化する)
1011110101...
情報を送る側が行う3つの変換と、受け取った側が行う3つの変換はそれぞれ逆の操作で、行う順番も逆になる。

情報量

概要

情報の量を具体的な数値で表すものとして情報量が使われる。例えば偏りのないコインを1枚投げたとき、その結果は「表」「裏」のいずれかになるが、その結果を0, 1に置き換えて表わすことにすると、例えば
結果符号
0
1
のように1ビットの符号で結果を伝えられる。
コインの枚数を増やすと、結果を伝えるのに必要なビット数はその枚数と同じになる。
コイン2枚   
結果符号
表表00
表裏01
裏表10
裏裏11
コイン3枚
結果符号
表表表000
表表裏001
表裏表010
表裏裏011
裏表表100
裏表裏101
裏裏表110
裏裏裏111
このビット数は、一般にそれぞれの結果が起こる確率と結び付けられる。
コインの枚数が1, 2, 3,...枚ならそれぞれの結果になる確率は1/2, 1/4, 1/8,...になる。確率 \(p\) は桁数 \(I\) を使って、

\(p = \left(\frac{1}{2}\right)^I = 2^{-I}\cdots(1)\)

のように指数関数の形で書ける。逆に \(I\) は対数関数を使って \(p\) で

\(I=-\log_2 p\cdots(2)\)

という形で書ける。

もう少し一般化すると、\(I\) を単純な桁数ではなく「一つの出来事が起こったことを知ることによって得られる情報の量」として扱うことができる。これを情報量と呼ぶ。また、ここで考慮する「出来事」のことを専門的な用語で事象と呼ぶ。
傾向としては、その出来事が起こる確率が小さいほど情報量は大きくなる。
確率情報量
1/21
1/42
1/83
情報量の値は整数だけとは限らない。例えば、「サイコロを投げて1の目が出た」という事象の確率は1/6で、その情報量は約2.58になる。

対数の性質 (数学の公式)
\(a, b, c\) が一般の正の数のとき、以下の関係が常に成り立つ。
  1. \(\log_a1=0\)
  2. \(\log_aa=1\)
  3. \(\log_ab^c = c\log_a b\)
  4. \(\log_ab = \frac{\log_cb}{\log_ca}\)
  5. \(\log_a\left(bc\right) = \log_ab + \log_ac\)
5番目と3番目の公式を使えば、
\( \begin{eqnarray} &&\log_a\left(\frac{b}{c}\right)\cr = &&\log_ab + \log_a\left(\frac{1}{c}\right)\cr = &&\log_ab + \log_ac^{-1}\cr = &&\log_ab - \log_ac \end{eqnarray} \)

が成り立つこともわかる。要するに「対数の中にある掛け算は外に出すと足し算に、割り算は引き算になる」ということ。
対数の種類と書き方のルール
「\(\log\)」の右下の小さい数字のことを「対数の(てい)」という。
情報理論では特に断りがない限り底が2の対数を使い、底を省略して書く (例えば「\(\log5\)」は「\(\log_25\)」のことを意味する)。

余談だが、工業系では常用対数 (底が10)、物理学では自然対数 (底が\(e=2.718...\)) がよく使われる。
計算でよく使われる対数の値
Excelやスマホの関数電卓のアプリなどで対数の値は計算できるが、課題や期末試験では手計算が必要になる。
以下のものを覚えておけば、多くの場合の対数の値を求められる (11/9修正)。
\(\log3 = 1.5849...\)
\(\log5 = 2.3219...\)

例えば、上の例の「サイコロを投げて1の目が出た」という事象の情報量は
\( \begin{eqnarray} I &=&-\log\left(\frac{1}{6}\right)\cr &=& -\log6^{-1}\cr &=&\log6\cr &=&\log2+\log3\cr &=&1+\log3\cr &≒&1+1.5849...\cr &=&2.5849...\\ &≒&2.58\\ \end{eqnarray} \)

となる (3行目→4行目では3番目の公式、4行目→5行目では2番目の公式を使った)。

課題

以下の事象についての情報量を求めよ。ただし、アプリなどは使わず計算過程も書くこと。また、結果は四捨五入して小数第二位までにすること。
  1. 12面体サイコロを1つ投げ、1の目が出た。
  2. 12面体サイコロを1つ投げ、1~5の目のいずれかになった。
  3. コインを4枚投げ、すべて表になった。
  4. コインを4枚投げ、表が1枚、裏が3枚になった。
  5. コインを4枚投げ、表が2枚、裏が2枚になった。
inserted by FC2 system