情報理論 小テスト (第11回の内容) 解答

以下の問題では入力信号の事象系をX, 出力信号の事象系をYで表わし、通信路では入力が0, 1のどちらの場合も確率pで変化し、消失はしないものとする。

1. p>0の場合、必ず成り立つ関係はどれか。
• H(X)>H(Y)
• H(X)>I(X, Y)
• H(X)<I(X, Y)

H(X)は左の円、I(X, Y)は2つの円の重なり部分にあたるので、完全に重なっていない場合は円の方が大きい。



2. 通信路容量を表わす文字として正しいものはどれか。
• C
• D
• E


3. 通信路容量の定義として正しいものはどれか。
• I(X, Y) の最小値
• I(X, Y) の最大値


4. p>0のとき、I(X, Y)が最も大きくなるのはどの場合か。
• 入力で0が発生する確率が0.2
• 入力で0が発生する確率が0.3
• 入力で0が発生する確率が0.9


• I(X, Y)は入力の偏りが小さいほど大きくなる。最大になるのは0.5のときなので、選択肢の中では0.5に一番近い0.3のときの値が最も大きい。


5. 通信路容量が最も大きくなるのは次のうちどれか。
• p=0.3
• p=0.5
• p=1


• 前回の課題5の解答のあとの囲みの説明参照。pが0.5のときに通信路容量は0になり、pが1になると完全に情報が通る。