二つの事象系のそれぞれの事象が同時に起こることを一つの事象としてとらえ、それらで構成される事象系をつくることができる。例えば前回の課題の事象系なら以下の4つの事象からなる事象系ができる。このような事象系を
結合事象系、それを構成する事象を
結合事象という。
結合事象系 \(XY\)
| 結合事象 | 条件 | 選んだ数 |
|---|
| \(x_s,y_p\) | 6以下の素数 | 2, 3, 5 |
| \(x_s,y_c\) | 6以下の合成数 | 4, 6 |
| \(x_b,y_p\) | 7以上の素数 | 7 |
| \(x_b,y_c\) | 7以上の合成数 | 8, 9 |
|
\(
XY=
\begin{bmatrix}
x_s,y_p & x_s,y_c & x_b,y_p & x_b,y_c \\
\frac{3}{8} & \frac{1}{4} & \frac{1}{8} & \frac{1}{4}
\end{bmatrix} \cdots (3)
\)
|
書き方のルール
- 結合事象系の記号(左辺)は、もとの事象系の記号 (この例では \(X\) と \(Y\)) を並べて書く。
- 結合事象の記号(右辺の上の行)は、もとの事象系の事象 (この例では \(x_s\) と \(y_p\) など) をコンマで区切って書く。
この例では事象系 \(X\) と \(Y\) には相関がある。そのため、\(x_s,y_p\) が起こる確率は、\(x_s\) が起こる確率と \(y_p\) が起こる確率をかけたものにはならない。
例えば \(x_s,y_p\) が起こる確率、つまり「小さい素数を選ぶ確率」は全8パターン中3パターンなので \(\frac{3}{8}\) になるが、「小さいものを選ぶ確率」「素数を選ぶ確率」をかけた \(p_s\times p_p=\frac{5}{8}\times\frac{1}{2}=\frac{5}{16}\) とは異なる。
一方、元になった2つの事象系に相関がない場合、例えばコインを1枚、サイコロを1個を同時に投げ、
事象系 \(A\)
| 事象 | 条件 | 出た面 |
|---|
| \(a_h\) | 表(head) | 表 |
| \(a_t\) | 裏(tail) | 裏 |
事象系 \(B\)
| 事象 | 条件 | 出た目 |
|---|
| \(b_s\) | 4以下(small) | 1, 2, 3, 4 |
| \(b_b\) | 5以上(big) | 5, 6 |
\(
A=
\begin{bmatrix}
a_h & a_t \\
\frac{1}{2} & \frac{1}{2}
\end{bmatrix}
\)
\(
B=
\begin{bmatrix}
b_s & b_b \\
\frac{2}{3} & \frac{1}{3}
\end{bmatrix}
\)
このような事象系を作ると、これらを組み合わせてできる結合事象は
| 結合事象 | 条件 | パターン |
|---|
| \(a_h,b_s\) | 表で4以下 | 4通り |
| \(a_h,b_b\) | 表で5以上 | 2通り |
| \(a_t,b_s\) | 裏で4以下 | 4通り |
| \(a_t,b_b\) | 裏で5以上 | 2通り |
の4つで、結合事象系は
|
\(
AB=
\begin{bmatrix}
a_h,b_s & a_h,b_b & a_t,b_s & a_t,b_b \\
\frac{1}{3} & \frac{1}{6} & \frac{1}{3} & \frac{1}{6}
\end{bmatrix}
\)
|
のようになる。例えば \(a_h,b_s\) が起こる確率は、\(a_h\) と \(b_s\) が起こる確率をかけた値 \(\frac{1}{2}\times\frac{2}{3}=\frac{1}{3}\) に等しい。そのほかの結合事象が起こる確率も、同様にもとの事象が起こる確率の積と同じになる。
結合事象系の性質
- 相関がある場合：結合事象系の事象が起こる確率はもとの事象系の事象が起こる確率を単純にかけたものとは一般に異なる
- 相関がない場合：結合事象系の事象が起こる確率はもとの事象系の事象が起こる確率を単純にかけたものになる
結合事象系のエントロピーのことを
結合エントロピーとよぶ。\(X\) と \(Y\) の結合事象系 \(XY\) のエントロピーを \(H(XY)\) と書く。これは、元になった事象のエントロピーを
重なりなしで加えたものに等しい。相互情報量を考えたときの図で表わすと
にあたる。この図から、
\(
H(XY)=H(X)+H(Y)-I(Y,X) \cdots (4)
\)
という関係が成り立つことがわかる (左右の丸 \(H(X)\) と \(H(Y)\) を単純に足すと重なった部分を2回カウントすることになるので、重なり部分の値 \(I(Y,X)\) を引くと、上図の形の面積になる)。
上の例の相関のない事象系 \(A, B\) では、\(H(A)\) と \(H(B)\) に重なりがないので \(I(X, Y)=I(Y,X)=0\) になる。
実際、それぞれのエントロピーを計算してみると \(H(AB)=\log3+\frac{1}{3}\), \(H(A)=1\), \(H(B)=\log3-\frac{2}{3}\) で、結合エントロピーはそれぞれの事象系のエントロピーを単純に足したものになる。