机器学习基础：独立性与条件独立性

独立性与条件独立性"/>

机器学习基础：独立性与条件独立性

机器学习基础：独立性与条件独立性

• 独立性
• 条件独立性

独立性

两个随机变量x，y，概率分布表示称两个因子的乘积形式，一个因子只包含x，另一个因子只包含y，两个随机变量相互独立。
条件有时为不独立的事件之间带来独立，有时也会吧本来独立的事件带来不独立。
举例： ( P ( X Y ) = P ( X ) P ( Y ) (P(XY)=P(X)P(Y) (P(XY)=P(X)P(Y)，事件X和事件Y独立，此时给定Z， P ( X , Y ∣ Z ) ≠ P ( X ∣ Z ) P ( Y ∣ Z ) P(X,Y|Z) \not=P(X|Z)P(Y|Z) P(X,Y∣Z)​=P(X∣Z)P(Y∣Z)
事件独立时，联合概率等于概率的乘积（也就是事件处于独立同分布时），这是一个非常好的数学性质，然而不幸的是，无条件的独立是十分稀少的，因为大部分的情况事件之间之间都是相互影响的。

条件独立性

给定Z的情况下，X和Y条件独立，当且仅当 X ⊥ Y ∣ Z ⇔ P ( X , Y ∣ Z ) = P ( X ∣ Z ) P ( Y ∣ Z ) X\bot Y|Z \Leftrightarrow P(X,Y|Z)=P(X|Z)P(Y|Z) X⊥Y∣Z⇔P(X,Y∣Z)=P(X∣Z)P(Y∣Z)
X和Y是依赖于Z，而不是直接产生的。
举例：定义如下事件：
X：明天下雨；
Y：明天地面是湿的；
Z：今天是否下雨；
Z时间的成立，对X，Y均有影响，然而，在Z事件成立的前提下，今天的地面情况对明天是否下雨没影响。