情報理論 第5回　通信路

• 変化と消失
通信路とは、「情報源」(信号を送る側)と「あて先」(信号を受け取る側)の間にある通信手段のことをいい、具体的にはLANケーブルやWi-Fiの電波などがこれにあたる。

情報源

→

符号器

→

通信路

→

復号器

→

あて先


通信路を通るのは0か1の情報だが、実体をもった「0」「1」というものが存在するわけではないので、例えば
• 0を送りたいときは電圧を低くする
• 1を送りたいときは電圧を高くする


のようにして通信路を通れる形にする。通信路を通すとノイズの影響でこの波形に乱れが生じるが、あて先 (信号を受け取った側) では
• ある時間間隔の電圧の平均が基準値以上なら1
• ある時間間隔の電圧の平均が基準値未満なら0

と解釈することで、もとの情報と同じ0, 1を取り出すことができる。

ところが、まれにこの乱れが極端に大きくなり

のように、もともと0だったはずの信号が1に変わってしまう (またはその逆) ことがある。このような現象を変化と呼ぶ。

このような変化の影響を少なくするために、あて先側で
• ある時間間隔の電圧の平均が基準値1以上なら1
• ある時間間隔の電圧の平均が基準値2以上基準値1未満なら「わからない」
• ある時間間隔の電圧の平均が基準値2未満なら0

という解釈のしかたをすることで、どちらなのか怪しい場合はあえて0, 1のどちらになるかを決めない方法もある。この方法では、乱れが大きい場合は
のようにときどき判定できない状態になる。こうなることを消失と呼ぶ。また、この方法で解釈する場合でも乱れが十分大きければ消失だけでなく変化も起こる。

• 通信路線図
通信路への入力と出力の関係を図で表わしたものを通信路線図という。
描き方のルール
• 左側に入力、右側に出力の値を書く。
• 入出力のありうる組み合わせをすべて線でつなぐ。
• 線の隣にその確率を書く。


例えば「確率$p$で0から1に変化し、確率$q$で1から0に変化する」という通信路なら

• 入力が0で出力が0の確率：$1-p$
• 入力が0で出力が1の確率：$p$
• 入力が1で出力が0の確率：$q$
• 入力が1で出力が1の確率：$1-q$
になるので、通信路線図は

のようになる。


消失がある場合は、入力は0, 1の2通り、出力は0, x, 1の3通りになる。例えば「入力が0, 1のどちらでも確率$p$で消失する」という通信路なら、通信路線図は



のようになる。



• 練習問題1
全く変化も消失も起こらない通信路の通信路線図を描け。


• 練習問題2
「入力が0のときは確率$p$で変化、確率$q$で消失し、入力が1のときは確率$r$で変化、確率$s$で消失する」通信路の通信路線図を描け。

• 通信路行列
通信路への入力と出力の関係を行列の形で表わしたものを通信路行列という。
書き方のルール
• 行列の左側に「$T=$」を書く。
• 入力と出力の組み合わせの確率を行列の要素とする。
• 横方向を入力、縦方向を出力とする。

消失がない通信路で、
• $p_{00}$：入力が0で出力が0になる確率
• $p_{01}$：入力が0で出力が1になる確率
• $p_{10}$：入力が1で出力が0になる確率
• $p_{11}$：入力が1で出力が1になる確率

と書くとすると、通信路行列は
$T=\left[\begin{array}{cc}{p}_{00}& p_{01}\\ p_{10}& p_{11}\end{array}\right]$

のようになる。例えば通信路線図の例で挙げた「確率$p$で0から1に変化し、確率$q$で1から0に変化する」という通信路では、通信路行列は
$T=\left[\begin{array}{cc}1-p& p\\ q& 1-q\end{array}\right]$

のようになる。

消失がある場合は、出力が0, x, 1の3通りなので、通信路行列は2行3列になる。入力が0, 1のときに消失する確率をそれぞれ$p_{\mathrm{0x}}$, $p_{\mathrm{1x}}$と書くことにすると、通信路行列は
$T=\left[\begin{array}{ccc}{p}_{00}& p_{\mathrm{0x}}& p_{01}\\ p_{10}& p_{\mathrm{1x}}& p_{11}\end{array}\right]$


となる。例えば通信路線図の例で挙げた「入力が0, 1のどちらでも確率$p$で消失する」という通信路なら、通信路行列は
$T=\left[\begin{array}{ccc}1-p& p& 0\\ 0& p& 1-p\end{array}\right]$

となる。


• 練習問題3
練習問題1の通信路の通信路行列を記述せよ。


• 練習問題4
練習問題2の通信路の通信路行列を記述せよ。

• 出力情報を表わす事象系
「0が入力される」「1が入力される」という事象から事象系$X$、「0が出力される」「1が出力される」という事象から事象系$Y$を作ることができる。
$X$は情報源の性質を表わすものであり、0, 1それぞれが入力される確率を$p_0$, $p_1$とすると
$X=\left[\begin{array}{cc}{x}_0& x_1\\ p_0& p_1\end{array}\right]$

のように書ける。一方、通信路行列が
$T=\left[\begin{array}{cc}{p}_{00}& p_{01}\\ p_{10}& p_{11}\end{array}\right]$

なら、0が出力されるのは
• 入力が0で(そうである確率は$p_0$)、0のまま変化しなかった(そうである確率は$p_{00}$)
• 入力が1で(そうである確率は$p_1$)、0に変化した(そうである確率は$p_{10}$)
の2つのケースの合計で、確率は$p_0{p}_{00}+p_0{p}_{00}$になる。

同様に、1が出力されるのは
• 入力が0で(そうである確率は$p_0$)、1に変化した(そうである確率は$p_{01}$)
• 入力が1で(そうである確率は$p_1$)、1のまま変化しなかった(そうである確率は$p_{11}$)
の2つのケースの合計で、確率は$p_0{p}_{01}+p_1{p}_{11}$になる。

つまり、出力の事象系は
$Y=\left[\begin{array}{cc}{y}_0& y_1\\ p_0{p}_{00}+p_0{p}_{00}& p_0{p}_{01}+p_1{p}_{11}\end{array}\right]$

となる。この行列の下の行は、情報源の事象系の下の行と通信路行列をかけたもの
$\left[\begin{array}{cc}{p}_0& p_1\end{array}\right]\left[\begin{array}{cc}{p}_{00}& p_{01}\\ p_{10}& p_{11}\end{array}\right]$

に等しい (行列の掛け算のルール)。

ここでは消失のない通信路について考えたが、消失のあるケースでも出力が0, x, 1になる確率を同様にして求めることができる。


• 練習問題5
情報源の事象系が $X=\left[\begin{array}{cc}{x}_0& x_1\\ \frac{1}{2}& \frac{1}{2}\end{array}\right]$ であるとき、練習問題4の通信路を通った出力の事象系$Y$を記述せよ。


消失も起こるので、出力の事象系は $Y=\left[\begin{array}{ccc}{y}_0& y_{\mathrm{x}}& y_1\\ ?& ?& ?\end{array}\right]$ という形になる。
事象系なので、3つの確率を足した値は1になるはず。