条件独立5条重要性质及其证明
文章目录
条件独立对称性：
(
X
⊥
⊥
Y
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
)
(X {\perp\!\!\!\perp} Y \mid Z) \implies (X {\perp\!\!\!\perp} Y \mid Z)
(X⊥⊥Y∣Z)⟹(X⊥⊥Y∣Z)分解性：
(
X
⊥
⊥
Y
W
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
)
(X {\perp\!\!\!\perp} YW \mid Z) \implies (X {\perp\!\!\!\perp} Y \mid Z)
(X⊥⊥YW∣Z)⟹(X⊥⊥Y∣Z)弱连性：
(
X
⊥
⊥
Y
W
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
W
)
(X {\perp\!\!\!\perp} Y W\mid Z) \implies (X {\perp\!\!\!\perp} Y \mid ZW)
(X⊥⊥YW∣Z)⟹(X⊥⊥Y∣ZW)缩并性：
(
X
⊥
⊥
Y
∣
Z
)
&
(
X
⊥
⊥
W
∣
Z
Y
)
⟹
(
X
⊥
⊥
Y
W
∣
Z
)
(X {\perp\!\!\!\perp} Y \mid Z) \& (X {\perp\!\!\!\perp} W \mid ZY) \implies (X {\perp\!\!\!\perp} YW \mid Z)
(X⊥⊥Y∣Z)&(X⊥⊥W∣ZY)⟹(X⊥⊥YW∣Z)相交性：
(
X
⊥
⊥
W
∣
Z
Y
)
&
(
X
⊥
⊥
Y
∣
Z
W
)
⟹
(
X
⊥
⊥
Y
W
∣
Z
)
(X {\perp\!\!\!\perp} W \mid ZY) \& (X {\perp\!\!\!\perp} Y \mid ZW) \implies (X {\perp\!\!\!\perp} YW \mid Z)
(X⊥⊥W∣ZY)&(X⊥⊥Y∣ZW)⟹(X⊥⊥YW∣Z)
条件独立
设
V
=
{
V
1
,
V
2
,
…
}
V = \{V_1, V_2, \dots\}
V={V1,V2,…} 表示变量的有限集合。设
P
(
⋅
)
P(\sdot)
P(⋅) 是
V
V
V 中变量的联合概率分布函数。
X
,
Y
,
Z
,
W
X, Y, Z, W
X,Y,Z,W 表示
V
V
V 中变量的子集，即
X
,
Y
,
Z
,
W
∈
V
X, Y, Z, W \in V
X,Y,Z,W∈V。当给定
Z
Z
Z 时，如果
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
P
(
y
,
z
)
>
0
P(x \mid y, z) = P(x \mid z)\quad\quad P(y, z) \gt 0
P(x∣y,z)=P(x∣z)P(y,z)>0 则
X
,
Y
X, Y
X,Y 条件独立。
我们用符号
(
X
⊥
⊥
Y
∣
Z
)
(X {\perp\!\!\!\perp} Y \mid Z)
(X⊥⊥Y∣Z) 表示条件独立，即
(
X
⊥
⊥
Y
∣
Z
)
⟺
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
(X {\perp\!\!\!\perp} Y \mid Z) \iff P(x \mid y, z) = P(x \mid z)
(X⊥⊥Y∣Z)⟺P(x∣y,z)=P(x∣z) 条件独立有5条重要的性质：
对称性：
(
X
⊥
⊥
Y
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
)
(X {\perp\!\!\!\perp} Y \mid Z) \implies (X {\perp\!\!\!\perp} Y \mid Z)
(X⊥⊥Y∣Z)⟹(X⊥⊥Y∣Z)
(
X
⊥
⊥
Y
∣
Z
)
⟺
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
(1)
\tag{1}(X {\perp\!\!\!\perp} Y \mid Z) \iff P(x \mid y,z)=P(x \mid z)
(X⊥⊥Y∣Z)⟺P(x∣y,z)=P(x∣z)(1)
(
Y
⊥
⊥
X
∣
Z
)
⟺
P
(
y
∣
x
,
z
)
=
P
(
y
∣
z
)
(2)
\tag{2}(Y {\perp\!\!\!\perp} X \mid Z) \iff P(y \mid x,z)=P(y \mid z)
(Y⊥⊥X∣Z)⟺P(y∣x,z)=P(y∣z)(2)
利用乘法公式，1式和2式可以改写为：
P
(
x
,
y
,
z
)
P
(
y
,
z
)
=
P
(
x
,
z
)
P
(
z
)
(3)
\tag{3}\frac {P(x,y,z)} {\boxed{P(y,z)}} = \frac {\boxed{P(x,z)}} {P(z)}
P(y,z)P(x,y,z)=P(z)P(x,z)(3)
P
(
x
,
y
,
z
)
P
(
x
,
z
)
=
P
(
y
,
z
)
P
(
z
)
(4)
\tag{4}\frac {P(x,y,z)} {P(x,z)} = \frac {P(y,z)} {P(z)}
P(x,z)P(x,y,z)=P(z)P(y,z)(4)
3式方框标注部分位置对换一下，就是4式。
■
\quad\blacksquare
■
分解性：
(
X
⊥
⊥
Y
W
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
)
(X {\perp\!\!\!\perp} YW \mid Z) \implies (X {\perp\!\!\!\perp} Y \mid Z)
(X⊥⊥YW∣Z)⟹(X⊥⊥Y∣Z)
(
X
⊥
⊥
Y
W
∣
Z
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
(1)
\tag{1}(X {\perp\!\!\!\perp} YW \mid Z) \iff P(x \mid y,z,w) = P(x \mid z)
(X⊥⊥YW∣Z)⟺P(x∣y,z,w)=P(x∣z)(1)
(
X
⊥
⊥
Y
∣
Z
)
⟺
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
(2)
\tag{2}(X {\perp\!\!\!\perp} Y \mid Z) \iff P(x \mid y,z) = P(x \mid z)
(X⊥⊥Y∣Z)⟺P(x∣y,z)=P(x∣z)(2)
根据公式：
P
(
A
∣
K
)
=
∑
i
P
(
A
∣
B
i
,
K
)
P
(
B
i
∣
K
)
P(A \mid K) = \displaystyle{\sum_{i} P(A \mid B_i, K)P(B_i \mid K)}
P(A∣K)=i∑P(A∣Bi,K)P(Bi∣K)
P
(
x
∣
y
,
z
)
=
∑
w
∈
W
P
(
x
∣
y
,
z
,
w
)
P
(
w
∣
y
,
z
)
(3)
\tag{3}P(x \mid y,z) = \sum_{w \in W} P(x \mid y,z,w)P(w \mid y,z)
P(x∣y,z)=w∈W∑P(x∣y,z,w)P(w∣y,z)(3) 根据1式，
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
P(x \mid y,z,w)=P(x \mid z)
P(x∣y,z,w)=P(x∣z)，带入3式得：
P
(
x
∣
y
,
z
)
=
∑
w
∈
W
P
(
x
∣
z
)
P
(
w
∣
y
,
z
)
=
P
(
x
∣
z
)
∑
w
∈
W
P
(
w
∣
y
,
z
)
(4)
\tag{4}P(x \mid y,z) = \sum_{w \in W} P(x \mid z)P(w \mid y,z) = P(x \mid z) \sum_{w \in W}P(w \mid y,z)
P(x∣y,z)=w∈W∑P(x∣z)P(w∣y,z)=P(x∣z)w∈W∑P(w∣y,z)(4)
因为对任意
∀
w
∈
W
\forall w \in W
∀w∈W的情况都取到了，所以
∑
w
∈
W
P
(
w
∣
y
,
z
)
\displaystyle{\sum_{w \in W}P(w \mid y,z)}
w∈W∑P(w∣y,z)求和的结果就是1：
∴
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
■
(5)
\therefore \tag{5}P(x \mid y,z) = P(x \mid z) \quad \blacksquare
∴P(x∣y,z)=P(x∣z)■(5)
弱连性：
(
X
⊥
⊥
Y
W
∣
Z
)
⟹
(
X
⊥
⊥
Y
∣
Z
W
)
(X {\perp\!\!\!\perp} Y W\mid Z) \implies (X {\perp\!\!\!\perp} Y \mid ZW)
(X⊥⊥YW∣Z)⟹(X⊥⊥Y∣ZW)
(
X
⊥
⊥
Y
W
∣
Z
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
(1)
\tag{1}(X {\perp\!\!\!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
(X⊥⊥YW∣Z)⟺P(x∣y,z,w)=P(x∣z)(1)
(
X
⊥
⊥
Y
∣
Z
W
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
,
w
)
(2)
\tag{2}(X {\perp\!\!\!\perp} Y \mid ZW) \iff P(x \mid y,z,w)=P(x \mid z,w)
(X⊥⊥Y∣ZW)⟺P(x∣y,z,w)=P(x∣z,w)(2)
根据公式：
P
(
A
∣
K
)
=
∑
i
P
(
A
∣
B
i
,
K
)
P
(
B
i
∣
K
)
P(A \mid K) = \displaystyle{\sum_{i} P(A \mid B_i, K)P(B_i \mid K)}
P(A∣K)=i∑P(A∣Bi,K)P(Bi∣K)
P
(
x
∣
z
,
w
)
=
∑
y
∈
Y
P
(
x
∣
y
,
z
,
w
)
P
(
y
∣
z
,
w
)
(3)
\tag{3}P(x \mid z,w) = \sum_{y \in Y} P(x \mid y,z,w)P(y \mid z,w)
P(x∣z,w)=y∈Y∑P(x∣y,z,w)P(y∣z,w)(3) 根据1式
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
P(x \mid y,z,w)=P(x \mid z)
P(x∣y,z,w)=P(x∣z)，带入3式得：
P
(
x
∣
z
,
w
)
=
∑
y
∈
Y
P
(
x
∣
z
)
P
(
y
∣
z
,
w
)
=
P
(
x
∣
z
)
∑
y
∈
Y
P
(
y
∣
z
,
w
)
(4)
\tag{4}P(x \mid z,w) = \sum_{y \in Y} P(x \mid z)P(y \mid z,w) = P(x \mid z) \sum_{y \in Y} P(y \mid z,w)
P(x∣z,w)=y∈Y∑P(x∣z)P(y∣z,w)=P(x∣z)y∈Y∑P(y∣z,w)(4)
因为对任意
∀
y
∈
Y
\forall y \in Y
∀y∈Y的情况都取到了，所以
∑
y
∈
Y
P
(
y
∣
z
,
w
)
=
1
\displaystyle\sum_{y \in Y} {P(y \mid z,w)} = 1
y∈Y∑P(y∣z,w)=1，
∴
P
(
x
∣
z
,
w
)
=
P
(
x
∣
z
)
=
P
(
x
∣
y
,
z
,
w
)
■
\therefore P(x \mid z,w) = P(x \mid z) = P(x \mid y,z,w) \quad \blacksquare
∴P(x∣z,w)=P(x∣z)=P(x∣y,z,w)■
缩并性：
(
X
⊥
⊥
Y
∣
Z
)
&
(
X
⊥
⊥
W
∣
Z
Y
)
⟹
(
X
⊥
⊥
Y
W
∣
Z
)
(X {\perp\!\!\!\perp} Y \mid Z) \& (X {\perp\!\!\!\perp} W \mid ZY) \implies (X {\perp\!\!\!\perp} YW \mid Z)
(X⊥⊥Y∣Z)&(X⊥⊥W∣ZY)⟹(X⊥⊥YW∣Z)
{
(
X
⊥
⊥
Y
∣
Z
)
⟺
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
)
(1)
(
X
⊥
⊥
W
∣
Z
Y
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
y
,
z
)
(2)
\begin{cases} (X {\perp\!\!\!\perp} Y \mid Z) &\iff P(x \mid y,z)=P(x \mid z) &\text{(1)}\\ (X {\perp\!\!\!\perp} W \mid ZY) &\iff P(x \mid y,z,w)=P(x \mid y,z)&\text{(2)} \end{cases}
{(X⊥⊥Y∣Z)(X⊥⊥W∣ZY)⟺P(x∣y,z)=P(x∣z)⟺P(x∣y,z,w)=P(x∣y,z)(1)(2)
要证明：
(
X
⊥
⊥
Y
W
∣
Z
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
(3)
\tag{3}(X {\perp\!\!\!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
(X⊥⊥YW∣Z)⟺P(x∣y,z,w)=P(x∣z)(3) 1式左边和2式右边相同，两式一合并：
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
(4)
\tag{4}P(x \mid y,z,w) = P(x \mid z)
P(x∣y,z,w)=P(x∣z)(4) 4式就是要证明的3式。
■
\blacksquare
■
相交性：
(
X
⊥
⊥
W
∣
Z
Y
)
&
(
X
⊥
⊥
Y
∣
Z
W
)
⟹
(
X
⊥
⊥
Y
W
∣
Z
)
(X {\perp\!\!\!\perp} W \mid ZY) \& (X {\perp\!\!\!\perp} Y \mid ZW) \implies (X {\perp\!\!\!\perp} YW \mid Z)
(X⊥⊥W∣ZY)&(X⊥⊥Y∣ZW)⟹(X⊥⊥YW∣Z)
{
(
X
⊥
⊥
W
∣
Z
Y
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
y
,
z
)
(1)
(
X
⊥
⊥
Y
∣
Z
W
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
,
w
)
(2)
\begin{cases} (X {\perp\!\!\!\perp} W \mid ZY) \iff P(x \mid y,z,w)=P(x \mid y,z) &\text{(1)}\\ (X {\perp\!\!\!\perp} Y \mid ZW) \iff P(x \mid y,z,w)=P(x \mid z,w) &\text{(2)} \end{cases}
{(X⊥⊥W∣ZY)⟺P(x∣y,z,w)=P(x∣y,z)(X⊥⊥Y∣ZW)⟺P(x∣y,z,w)=P(x∣z,w)(1)(2)
要证明：
(
X
⊥
⊥
Y
W
∣
Z
)
⟺
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
(3)
\tag{3}(X {\perp\!\!\!\perp} YW \mid Z) \iff P(x \mid y,z,w)=P(x \mid z)
(X⊥⊥YW∣Z)⟺P(x∣y,z,w)=P(x∣z)(3) 1式2式左边相同，两式一合并：
P
(
x
∣
y
,
z
)
=
P
(
x
∣
z
,
w
)
(4)
\tag{4}P(x \mid y,z) = P(x \mid z,w)
P(x∣y,z)=P(x∣z,w)(4)
利用乘法公式，4式可写做：
P
(
x
,
y
,
z
)
P
(
y
,
z
)
=
P
(
x
,
z
,
w
)
P
(
z
,
w
)
(5)
\tag{5}\frac {P(x,y,z)} {\boxed{P(y,z)}} = \frac {\boxed{P(x,z,w)}} {P(z,w)}
P(y,z)P(x,y,z)=P(z,w)P(x,z,w)(5) 交换5式方框部分，并对
Y
Y
Y进行边缘化：
∑
Y
P
(
x
,
y
,
z
)
P
(
x
,
z
,
w
)
=
∑
Y
P
(
y
,
z
)
P
(
z
,
w
)
(6)
\tag{6}\frac {\displaystyle\sum_{Y} P(x,y,z)} {P(x,z,w)} = \frac {\displaystyle\sum_{Y} P(y,z)} {P(z,w)}
P(x,z,w)Y∑P(x,y,z)=P(z,w)Y∑P(y,z)(6) 根据全概率公式，得：
P
(
x
,
z
)
P
(
x
,
z
,
w
)
=
P
(
z
)
P
(
z
,
w
)
(7)
\tag{7}\frac {P(x,z)} {\boxed{P(x,z,w)}} = \frac {\boxed{P(z)}} {P(z,w)}
P(x,z,w)P(x,z)=P(z,w)P(z)(7)
交换方框部分，得
P
(
x
,
z
)
P
(
z
)
=
P
(
x
,
z
,
w
)
P
(
z
,
w
)
(8)
\tag{8}\frac {P(x,z)} {P(z)} = \frac {P(x,z,w)} {P(z,w)}
P(z)P(x,z)=P(z,w)P(x,z,w)(8) 将8式写成条件概率
P
(
x
∣
z
)
=
P
(
x
∣
z
,
w
)
(9)
\tag{9}P(x \mid z)=P(x \mid z,w)
P(x∣z)=P(x∣z,w)(9) 9式和2式一合并，即可得：
P
(
x
∣
y
,
z
,
w
)
=
P
(
x
∣
z
)
P(x \mid y,z,w)=P(x \mid z)
P(x∣y,z,w)=P(x∣z)，这就是我们要证明的3式。
■
\blacksquare
■