情報理論 小テスト (第02回の内容) 解答

  1. 情報を送るために、人間が使う文字a, b, c, dをそれぞれ00, 01, 10, 11に置き換えるものとする。このとき、用語「シンボル」に対応するものは何か。


  2. 情報を送るために、人間が使う文字a, b, c, dをそれぞれ00, 01, 10, 11に置き換えるものとする。このとき、用語「符号語」に対応するものは何か。


  3. 情報を送るために、人間が使う文字a, b, c, dをそれぞれ00, 01, 10, 11に置き換えるものとする。このとき、用語「符号アルファベット」に対応するものは何か。


  4. a, b, c, dをそれぞれ00, 01, 10, 11に置き換える符号Aと、1, 01, 001, 0001に置き換える符号Bで、a~dが同じ確率で発生する場合、符号化の効率が良いのはどちらか。


  5. a, b, c, dをそれぞれ00, 01, 10, 11に置き換える符号Aと、1, 01, 001, 0001に置き換える符号Bで、aが97%、b, c, dが1%の確率で発生する場合、符号化の効率が良いのはどちらか

問4, 問5のどちらの場合も、符号Aでは平均符号長 \(L\) は2になる。
また、課題1で求めたように、問4での符号Bの平均符号長は2.5で、符号Aの方が小さく、効率が良いことがわかる。
問5での符号Bの平均符号長は
\(\begin{eqnarray} L&=&1\times0.97+(2+3+4)\times0.01\\ &=&0.97+0.09\\ &=&1.06 \end{eqnarray}\)
となるので、符号Bの方が効率が良いことがわかる。
「aが出てくる確率が圧倒的に高い」ということは「置き換え先はほとんどのケースで1文字になる」ということなので、わざわざ計算しなくても平均符号長がほぼ1になることは直感的にわかる。
inserted by FC2 system