第11回 通信路容量

通信路を通る情報の量

概要

通信路への入力からなる事象系 \(X\) と、出力からなる事象系 \(Y\) を考える。通信路で変化や消失が起こると、 \(X\) と \(Y\) は異なったものになり、それぞれのエントロピーは図のように表わされる。

このうちの重なり部分、つまり相互情報量が「実質的に通信路を通った情報の量」にあたる。これが多ければ通信路をたくさんの情報が通れる、つまり通信路の性能が良いことになる。
左の三日月 \(H(X|Y)\) は「出力について知っていても入力についてわからないこと」→「通信路を通れなかった情報の量」
右の三日月 \(H(Y|X)\) は「入力について知っていても出力についてわからないこと」→「変化・消失でできたゴミ情報の量」
にあたる。

この量を、以下のようなケースについて具体的に計算してみる。
  • 入力信号では0が確率 \(\alpha\) で発生する
  • 通信路では入力が0, 1のどちらの場合も確率 \(p\) で変化する。消失はおこらない

これを情報源の事象系と通信路行列で表わすと
\( \begin{eqnarray} X&=& \begin{bmatrix} x_0 & x_1 \\ \alpha & 1-\alpha \end{bmatrix} \cdots(1)\\ T&=& \begin{bmatrix} 1-p & p \\ p & 1-p \end{bmatrix} \end{eqnarray} \)

のようになる。出力が0, 1になる確率は
\( \begin{eqnarray} &&P_xT\\ =&& \begin{bmatrix} \alpha, & 1-\alpha \end{bmatrix} \begin{bmatrix} 1-p & p \\ p & 1-p \end{bmatrix}\\ =&& \begin{bmatrix} \alpha(1-p)+(1-\alpha)p, & \alpha p+(1-\alpha)(1-p) \end{bmatrix}\\ =&& \begin{bmatrix} p+\alpha-2\alpha p, & 1-p-\alpha+2\alpha p \end{bmatrix} \end{eqnarray} \)

のように計算できるので、出力信号の事象系は
\( Y= \begin{bmatrix} y_0 & y_1 \\ p+\alpha-2\alpha p & 1-p-\alpha+2\alpha p \end{bmatrix} \cdots(2) \)

となる。さらに、 \(X\) と \(Y\) の結合事象系 \(XY\) を考えると、それを構成する事象は
事象意味
\(x_0,y_0\) 入力が0、出力が0 (通信路で変化しない)
\(x_1,y_0\) 入力が1、出力が0 (通信路で変化する)
\(x_0,y_1\) 入力が0、出力が1 (通信路で変化する)
\(x_1,y_1\) 入力が1、出力が1 (通信路で変化しない)
で、入力が0, 1である確率はそれぞれ \(\alpha\) と \(1-\alpha\) で、通信路で変化する確率、しない確率はそれぞれ \(p\) と \(1-p\) なので、結合事象系は以下のようになる。
\( XY= \begin{bmatrix} x_0,y_0 & x_1,y_0 & x_0,y_1 & x_1,y_1 \\ \alpha(1-p) & (1-\alpha)p & \alpha p & (1-\alpha)(1-p) \end{bmatrix} \cdots(3) \)

(1) から
\( H(X)=-\alpha\log\alpha-(1-\alpha)\log(1-\alpha)\cdots(4) \)

(2) から
\( H(Y)=-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\cdots(5) \)

(3) から
\( \begin{eqnarray} &&H(XY)\\ =&&-\alpha(1-p)\log\{\alpha(1-p)\}\\ &&-(1-\alpha)p\log\{(1-\alpha)p\}\\ &&-\alpha p\log(\alpha p)\\ &&-(1-\alpha)(1-p)\log\{(1-\alpha)(1-p)\}\\ =&&-\alpha(1-p)\{\color{red}\log\alpha\color{black}+\color{magenta}\log(1-p)\color{black}\}\\ &&-(1-\alpha)p\{\color{blue}\log(1-\alpha)\color{black}+\color{green}\log p\color{black}\}\\ &&-\alpha p\{\color{red}\log\alpha\color{black}+\color{green}\log p\color{black}\}\\ &&-(1-\alpha)(1-p)\{\color{blue}\log(1-\alpha)\color{black}+\color{magenta}\log(1-p)\}\\ =&&-\{\alpha(1-p)+\alpha p\}\color{red}\log\alpha\\ &&\color{black}-\{(1-\alpha)p+(1-\alpha)(1-p)\}\color{blue}\log(1-\alpha)\\ &&\color{black}-\{(1-\alpha)p+\alpha p\}\color{green}\log p\\ &&\color{black}-\{\alpha(1-p)+(1-\alpha)(1-p)\}\color{magenta}\log(1-p)\\ =&&-\alpha\log\alpha -(1-\alpha)\log(1-\alpha) -p\log p -(1-p)\log(1-p)\cdots(6) \end{eqnarray} \)

となる。
一方、第09回の (4) の関係式
\( H(XY)=H(X)+H(Y)-I(Y,X) \)

を変形すれば
\( I(Y,X)=H(X)+H(Y)-H(XY) \)

という形になる。ここで (4)~(6) の結果の形を使うと
\( \begin{eqnarray} &&I(Y,X)\\ =&&H(X)+H(Y)-H(XY)\\ =&&-\cancel{\alpha\log\alpha}-\cancel{(1-\alpha)\log(1-\alpha)}\\ &&-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)\\ &&-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\\ &&-\{-\cancel{\alpha\log\alpha} -\cancel{(1-\alpha)\log(1-\alpha)} -p\log p -(1-p)\log(1-p)\}\\ =&&p\log p+(1-p)\log(1-p)\\ &&-(p+\alpha-2\alpha p)\log(p+\alpha-2\alpha p)\\ &&-(1-p-\alpha+2\alpha p)\log(1-p-\alpha+2\alpha p)\cdots(7) \end{eqnarray} \)
となる。

課題1

入力信号の事象系が \( \begin{eqnarray} X_1&=& \begin{bmatrix} x_0 & x_1 \\ \frac{1}{4} & \frac{3}{4} \end{bmatrix} \end{eqnarray} \) で、通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} \frac{9}{10} & \frac{1}{10} \\ \frac{1}{10} & \frac{9}{10} \end{bmatrix} \end{eqnarray} \) の場合の入力 \(X_1\) と出力 \(Y_1\) の相互情報量を求めよ。ただし、\(\log3=1.585\)、\(\log7=2.807\) として、四捨五入して小数第二位まで求めること。
  • これは上の説明でいうと \(\alpha=1/4, p=1/10\) の場合にあたる。
  • (7)式を使う。4つの項はいずれも「*\(\log\)*」の形をしているので、あらかじめ「*」を計算しておくと楽。
  • \(1-p-\alpha+2\alpha p\) は1から \(p+\alpha-2\alpha p\) を引いた値。一方を計算すればもう一方は単純な引き算で求められる。

課題2

入力信号の事象系が \( \begin{eqnarray} X_2&=& \begin{bmatrix} x_0 & x_1 \\ \frac{1}{2} & \frac{1}{2} \end{bmatrix} \end{eqnarray} \) で、課題1と同じ通信路を通した場合の入力 \(X_2\) と出力 \(Y_2\) の相互情報量を求めよ。ただし、\(\log3=1.585\)、\(\log5=2.322\) として、四捨五入して小数第二位まで求めること。

課題1と課題2の結果を比べると、課題2の方が大きい値になるはず。第2回で見たように、事象系のエントロピーは偏りが少ないほど大きくなる。この結果は、入れてやる \(H(X)\) が大きくなったために通る情報の量も多くなったと解釈できる。

通信路容量

概要

課題1, 2で見たように、通信路を通る情報の量 \(I(Y,X)\) は「通信路の性質(上の例では \(p\))」「入れてやる情報の性質(上の例では \(\alpha\))」の両方に左右される。これでは通信路の性能を表わす指標としては使いにくい。
そこで、入力する情報の性質をいろいろ変えて、\(I(Y,X)\) が最大になるときの値を指標として使う。これを通信路容量と呼び、文字 \(C\) で表わす。

(7) の4つの項のうち、最初の2つの項は \(p\) だけに依存する。3つ目と4つ目の項の和は、それらがちょうど同じ値になったとき、つまり
\( p+\alpha-2\alpha p=1-p-\alpha+2\alpha p \)

になったときに最大になる。これを変形すれば、結局この条件は
\( \begin{eqnarray} 2\alpha-4\alpha p&=&1-2p\\ 2\alpha(1-2p)&=&1-2p\\ 2\alpha&=&1\\ \alpha&=&\frac{1}{2} \end{eqnarray} \)
となる。

課題3

通信路の通信路行列が \( \begin{eqnarray} T&=& \begin{bmatrix} 1-p & p \\ p & 1-p \end{bmatrix} \end{eqnarray} \) の場合の通信路容量 \(C\) を、 \(p\) を使った形で記述せよ。
  • (7) 式で \(\alpha\) に\(\frac{1}{2}\) を入れるだけ。

課題4

課題3のケースで、\(p=\frac{1}{10}\) の場合の通信路容量 \(C\) の値を求めよ。ただし、\(\log3=1.585, \log5=2.322\) として、四捨五入して小数第二位まで求めること。

課題5

課題3のケースで、\(p=\frac{1}{16}\) の場合の通信路容量 \(C\) の値を求めよ。ただし、\(\log3=1.585, \log5=2.322\) として、四捨五入して小数第二位まで求めること。
inserted by FC2 system