情報理論 小テスト (第04回の内容) 解答

1. 「事象系 X の結果が確定することで得られる、事象系 Y に関する情報量」として正しいものはどれか。
   • H(XY)
   • I(X, Y)
   • I(Y, X)
   
   
   • 2つ目の選択肢も結局は同じものを表わすが、定義通りのものは3つ目。
   
   
2. 次の等式のうち、常に成り立つとはいえないものはどれか。
   • I(Y, X)+H(Y|X)=H(Y)
   • H(X|Y)=H(Y|X)
   • I(X, Y)=I(Y, X)
   
   
   • 第3回、第4回で扱った事象系 \(X, Y\) では \(H(X|Y)=0.91(ビット), H(Y|X)=0.95(ビット)\) で値が異なる。
   
   
3. H(Y)=3ビット, H(Y|X)=2.5ビットのとき、I(Y, X) の値は何か。
   • 2.75ビット
   • 0.5ビット
   • 5.5ビット
   
   
   • 資料の (3)式より、前者から後者を引いたものになる。
   
   
4. 相関のある事象系 X, Y について、常に成り立つものはどれか。
   • H(XY) < H(X) + H(Y)
   • H(XY) = H(X) + H(Y)
   • H(XY) > H(X) + H(Y)
   
   
   • 相関がある場合は \(I(Y,X)>0\) なので、資料の (6)式から \(H(X)+H(Y)\) が \(H(XY)\) より大きいことがわかる。図で考えても明らか。
   
   
5. 相関のない事象系 X, Y について、常に成り立つものはどちらか。
   • H(XY) < H(X) + H(Y)
   • H(XY) = H(X) + H(Y)
   • H(XY) > H(X) + H(Y)
   
   
   • 相関がない場合は \(I(Y,X)=0\) なので、資料の (6)式がそのまま2番目の選択肢と同じ形になる。