机器学习笔记——贝叶斯分类器（V）贝叶斯网络

学习笔记——贝叶斯分类器（V）贝叶斯网络"/>

机器学习笔记——贝叶斯分类器（V）贝叶斯网络

概念

贝叶斯网络(Bayesian network)，又称“信念网络”（belief network），它借助于有向无环图（Directed Acyclic Graph）来刻画属性之间的依赖关系。并且使用条件概率表来描述属性的联合概率分布。

组成

一个贝叶斯网络 B $B$由结构G$G$和参数 Θ $\Theta$两个部分构成，即 B=⟨G,Θ⟩ $B=\langle G,\Theta\rangle$.

---

其中：
B $B$代表贝叶斯网络
G$G$代表一个有向无环图，其中每个结点对应一个属性，若两个属性有直接的依赖关系，则他们由一条边联系起来。
Θ $\Theta$定量描述这种依赖关系，假设属性 xi $x_i$在 G $G$中的父节点集为πi$\pi_i$则 Θ $\Theta$包含了每个属性的条件概率表 θxi∣πi=PB(xi∣πi) $\theta_{x_i\mid \pi_i}=P_{B}(x_i\mid \pi_i)$.

---

结构

贝叶斯网络结构有效地表达了属性间的条件独立性。给定父结点集合，贝叶斯网络假设每个属性与它的非后裔属性独立，于是 B=⟨G,Θ⟩ $B=\langle{G,\Theta}\rangle$将 x1,x2,…,xd $x_1,x_2,\dots,x_d$的联合概率分布定义为：

PB(x1,x2,…,xd)=∏i=1dPB(xi∣πi)=∏i=1dθxi∣πi $$P_{B}(x_1,x_2,\dots,x_d)=\prod_{i=1}^{d}P_{B}(x_i\mid\pi_i)=\prod_{i=1}^{d}\theta_{x_i\mid\pi_i}$$

几种常见贝叶斯网络

注：
a $a$和b$b$在给定 c $c$的取值时独立记为：a⊥b∣c$a\perp b\mid c$

同父结构

给定 x1 $x_1$的取值，则 x3 $x_3$和 x4 $x_4$条件独立。
x1 $x_1$的取值未知，则 x3 $x_3$和 x4 $x_4$不独立。

V型结构

给定子结点 x4 $x_4$的取值， x1 $x_1$和 x2 $x_2$必不独立。
但是在 x4 $x_4$的取值完全未知的时候， x1 $x_1$和 x2 $x_2$相互独立。

顺序结构

给定 x $x$的值，则y$y$和 z $z$条件独立。
x1$x_1$的取值未知，则 y $y$和z$z$不独立。