情報理論 小テスト (第02回の内容) 解答

1. 3つの事象からなる事象系はどのような行列であらわされるか。
   • 3行2列
   • 2行3列
   
   
   • 行は「縦に何個並ぶか」、列は「横に何個並ぶか」にあたる。
   
   
2. 次のうち事象系でないものはどれか。
   • 2つの事象からなり、それぞれ起こる確率が0.5と0.5
   • 2つの事象からなり、それぞれ起こる確率が0.4と0.6
   • 2つの事象からなり、それぞれ起こる確率が0.3と0.5
   
   
   • 事象系はすべての事象を網羅して、欠け・重複がないものなので、それに含まれる事象の確率をすべて加えると1になる。
   
   
3. エントロピーについての説明として誤っているものはどれか。
   • 必ず1以下の値になる
   • 事象の発生確率の偏りが大きいほど値が小さくなる
   • 情報量の平均値である
   
   
   • 例えば課題3, 課題4の事象系のエントロピーは1より大きい。
   
   
4. 2つの等確率で起こる事象からなる事象系X、2つの異なる確率で起こる事象からなる事象系Yそれぞれのエントロピーの間で成り立つ関係のうち、正しいものはどれか。
   • H(X)>H(Y)
   • H(X)=H(Y)
   • H(X)<H(Y)
   
   
   • 等確率の事象系よりも、偏りがある事象系の方が「不確定なこと」が多いので、エントロピーが大きくなる。
   
   
5. 2つの等確率で起こる事象からなる事象系X、3つの等確率で起こる事象からなる事象系Zそれぞれのエントロピーの間で成り立つ関係のうち、正しいものはどれか。
   • H(X)>H(Z)
   • H(X)=H(Z)
   • H(X)<H(Z)
   
   
   • 概要と課題の結果から \(H(X)=1, H(Z)=1.58\) であることからもわかるが、後者の方が起きることの選択肢が多いので不確定さが大きいと考えることもできる。