Conditionally Independent 條件獨立

機率理論中的另一個重要的觀念是事件的條件獨立 , 給予 F 發生 若 E 發生的條件 機率不會因為 E2 的是否發生而有所改變, 則稱 "給予 F, 事件 E1 和 事件 E2 為條件獨立 (conditionally independent)". More formally, E1 and E2 are said to be conditionally independent given F if

$\begin{array}{rcl} P(E_1\vert E_2F)&=&P(E_1\vert F) \qquad \mbox{or }\\ P(E_1E_2\vert F)&=&P(E_1\vert F)P(E_2\vert F) \\ \end{array}$
The notion of conditional independence can easily be extended to more than two events. The following example, sometimes reffered to as Laplace's rule of succession, further illustrates the concept of conditional independence.

Example (Laplace's Rule of Succession)
設袋中有 k+1 個銅板. 第 i 個銅板得正面的機率為 $\displaystyle\frac{i}{k},i=0,1,2,\ldots ,k$. 自袋中隨機取出一個銅板, 然後重覆丟此銅板, 若首 n 次均丟得正面, 試求第 n+1 次亦丟得正面的條件機率為多少?
Solution:
令 Ei 表示一開始時取出第 i 個銅板的事件, $i=0,1,\ldots ,k$; Fn表示首 n 次均得正面的事件; F 表示第 n+1 次丟得正面的事件. 則所欲求的機率 P(F|Fn) 可得之如下:
$\displaystyle P(F\vert F_n)=\sum_{i=0}^k P(F\vert F_nE_i)P(E_i\vert F_n)$
現在, 若已知第 i 個銅板被取出, 那麼假設每次投擲的結果為條件獨立是很合理的, 其中每次丟得正面的機率均為 $\displaystyle\frac{i}{k}$. 因此,
$\begin{array}{rcl} P(F\vert F_nE_i)&=&P(F\vert E_i)=\displaystyle\frac{i}{k}\qq... ...(i/k)^n[1/(k+1)]}{\displaystyle\sum_{j=0}^k (j/k)^k[1/(k+1)]}\\ \\ \end{array}$
因此得 $\displaystyle P(F\vert F_n)=\frac{\displaystyle\sum_{i=0}^k (i/k)^{n+1}}{\displaystyle\sum_{j=0}^k (j/k)^n}$
但是當 k 很大時, 我們可用積分求得如下的近似值:
$\displaystyle\frac{1}{k}\sum_{i=0}^k\left (\frac{i}{k}\right )^{n+1} \approx \int_0^1 x^{n+1} dx=\frac{1}{n+2}$
$\displaystyle\frac{1}{k}\sum_{j=0}^k\left (\frac{j}{k}\right )^n \approx \int_0^1 x^n dx =\frac{1}{n+1}$
所以當 k 很大時, $\displaystyle P(F\vert F_n)\approx\frac{n+1}{n+2}$          $\rule[0.02em]{1.0mm}{1.5mm}$