情報理論 小テスト (第2回の内容) 解答

1. 事象系に含まれる事象が起こる確率をすべて加えた値はどうなるか。
• 1より小さくなる
• 1になる
• 1より大きくなる


2. エントロピーの定義のうち正しいのはどれか。
• 事象の平均値
• 確率の平均値
• 情報量の平均値


3. エントロピーの別名のうち正しいのはどれか。
• 平均情報量
• 最大情報量


4. 事象系Xが2つの事象からなり、一方が起こる確率をpとしたとき、エントロピーの値として正しいのはどちらか。
• -p log(p) - (1-p) log(1-p)
• -log(p) - log(1-p)


5. 4の問題のケースで、エントロピーが最大になるのは次のうちどれか。
• pが0のとき
• pが1/2のとき
• pが1のとき
※ グラフにするとこのようになる。pが0, 1のときはエントロピーは0で最小になる。