情報理論 小テスト (第09回の内容) 解答

1. 以下のうち誤った説明はどれか。ただし、Xは情報源事象系、Yは出力の値を事象とする事象系を表わすものとする。
   • つねにH(X)=H(Y)が成り立つ
   • 通信路での変化の確率が0でなければH(X)>I(X, Y) が成り立つ
     
   • 資料の最初の図の円がH(X), 次の図の灰色の部分がI(X, Y)であることから明らか。
   
   
2. 変化の確率が0.1の2元対称通信路T_1と、変化の確率が0.01の2元対称通信路T_2で、通信路容量が大きいのはどちらか。
   • T_1の通信路容量
   • T_2の通信路容量
     
   • それぞれの通信路容量は課題2, 課題3の答え。後者の方が大きい。
   
   
3. 変化が全く起こらない通信路T_3の通信路容量Cはいくらか。
   • 0
     
   • 1
   • (8)式の \(p\) に0を入れれば1になる。 情報が全く失われないので、通信路を通る情報の量が情報源のエントロピーH(X)と一致することからもわかる。
   
   
4. 変化の確率が0.5の2元対称通信路T_4の通信路容量Cはいくらか。
   • 0
   • 1
     
   • (8)式の \(p\) に1/2を入れれば0になる。 元の符号がどちらの場合でも出力が0になる確率、1になる確率が同じなので、出力を見ても入力についての手がかりが全くないことからもわかる。
   
   
5. 変化の確率が0.3の2元対称通信路T_5と、変化の確率が0.7の2元対称通信路T_6で、通信路容量が大きいのはどちらか。
   • T_5の通信路容量
   • T_6の通信路容量
   • どちらも等しい
   • (8)式の第2項は第1項の \(p\) を \(1-p\) に入れ替えた形をしているので、同じ値になる。