对PGM的一些理解

PGM全称叫概率图模型，没学之前，感觉没什么用。现在学习了，感觉用处太大了。下面就我的一些学习感悟及学习路程记录下来，难免会有些错误的思想，欢迎走过路过的朋友多多指正。

2016.12.23
我是学习PRML这本经典的教材，现在在学习8.4.4节，“和—积 算法”，几天就先写这一节的感悟，前面几节以后补上。

1、该算法是一个高效的求变量x的边缘概率分布的算法。
2、该算法首先将有向图、无向图或多树等转化为因子图，然后利用因子图框架进行推到的。
3、徒说无益，上一例子说明：

举例之前，你应该首先明白“在因子图中，变量节点到因子节点或者因子节点到变量节点的是通过信息（message）来交互的”

这是一个4节点因子图，它的联合概率分布我们是可以直接写出来的：

我们目的要求节点 x2的边缘概率分布

怎么办呢？我们现在假设以x3为根节点，x1和x4是叶子节点，那么节点间的信息流表示出来如下：

蓝色的箭头即为信息流动的方向。

划重点了，x2的边缘概率就等于流经x2的信息流的乘积。及三个绿色的椭圆标出的绿色箭头。即所有与变量节点x2相连的因子节点(红色正方形)的乘积。

那么红色正方向怎么求呢？
这其实涉及到了怎么分析：从叶子节点开始，一步步的分析，一直到根节点。然后根节点再返回来，一步步的到达叶子节点。中间会经过这些因子节点的，同时不同方向的信息流大小也是可以算出来的。

叶子节点到根节点：

根节点再到叶子节点：

以上就是信息流大小的计算过程。

那么x2的边缘概率就可以轻易的计算出来了

最后补一句，我们和积算法的计算公式其实是

OK，这就是我理解的和–积算法，感觉还有很多没理解透彻，以后再补吧。

print 'goodnight world!'