情報理論第3回　条件付き確率とエントロピー

条件付き確率

相関がある

X

x_{s}

x_{b}

Y

y_{e}

y_{o}

X = [\begin{matrix} x_{s} & x_{b} \\ p_{s} & p_{b} \end{matrix}] = [\begin{matrix} x_{s} & x_{b} \\ \frac{1}{2} & \frac{1}{2} \end{matrix}]

Y = [\begin{matrix} y_{e} & y_{o} \\ p_{e} & p_{o} \end{matrix}] = [\begin{matrix} y_{e} & y_{o} \\ \frac{1}{2} & \frac{1}{2} \end{matrix}]

p_{s}

p_{b}

X

x_{s}

x_{b}

p_{e}

p_{o}

Y

y_{e}

y_{o}

X

x_{s}

\frac{1}{3}

\frac{2}{3}

Y (x_{s}) = [\begin{matrix} y_{e}|x_{s} & y_{o}|x_{s} \\ \frac{1}{3} & \frac{2}{3} \end{matrix}]

左辺：事象系を表わす文字のあとに「確定しているもの」をカッコに入れて書く
右辺の上の行：事象を表わす文字のあとに縦棒と「確定しているもの」を書く

X

x_{m}

x_{f}

Y

y_{a}

y_{c}

Y (x_{m})

Y (x_{f})

条件付きエントロピー

x_{s}

Y

H (Y | x_{s})

書き方のルール

Y (x_{s}) = [\begin{matrix} y_{e}|x_{s} & y_{o}|x_{s} \\ \frac{1}{3} & \frac{2}{3} \end{matrix}]

H (Y | x_{s}) = - \frac{1}{3} \log \frac{1}{3} - \frac{2}{3} \log \frac{2}{3} = 0.91

x_{b}

Y

Y (x_{b}) = [\begin{matrix} y_{e}|x_{b} & y_{o}|x_{b} \\ \frac{2}{3} & \frac{1}{3} \end{matrix}]

H (Y | x_{b}) = - \frac{2}{3} \log \frac{2}{3} - \frac{1}{3} \log \frac{1}{3} = 0.91

H (Y | x_{s})

記号	値	意味
$p_{s}$	$\frac{1}{2}$	$X$ の結果が $x_{s}$ になる確率
$H (Y \| x_{s})$	0.91	$X$ の結果が $x_{s}$ であることが確定している場合の $Y$ のエントロピー
$p_{b}$	$\frac{1}{2}$	$X$ の結果が $x_{b}$ になる確率
$H (Y \| x_{b})$	0.91	$X$ の結果が $x_{b}$ であることが確定している場合の $Y$ のエントロピー

X

Y

H (Y | X)

H (Y | X) = p_{s} \times H (Y | x_{s}) + p_{b} \times H (Y | x_{b}) = \frac{1}{2} \times 0.91 + \frac{1}{2} \times 0.91 = 0.91

ここで平均の求め方のルール「『その事象が起こる確率』×『具体的な値』をすべての事象について足し上げる」をエントロピーに使った。

H (Y | X)

のように、「一方の事象がの結果が確定しているときの、もう一方の事象のエントロピー」のことを条件付きエントロピーという。
書き方のルールとしては、縦棒の左が考慮中の事象系、縦棒の右が「確定済み」のもの。

H (Y | X)

X

Y

H (X | Y)

Y

X

単純な

Y

のエントロピー、つまり

X

の結果が確定していない場合の

Y

のエントロピーは

H (Y) = - \frac{1}{2} \log \frac{1}{2} - \frac{1}{2} \log \frac{1}{2} = 1

になる。
一方、

H (Y | X)

の値は0.91で、これよりも小さい。
エントロピーの定義は「未確定のことがどれだけあるか」なので、「

X

の結果が確定したことで

Y

についても未確定のことが少し減った」と解釈できる。

X

x_{m}

Y

X

x_{f}

Y

X

Y