大数据处理之道 （Gibbs Sampling）

一：简介以及学习的途径

（1）吉布斯采样（Gibbs Sampling)及相关算法 ?（学习向Gibbs sampling,EM,?MCMC算法 等的好地方）

? ? ? ?1） 推荐大家读Bishop的Pattern Recognition and Machine Learning，讲的很清楚，偏理论一些；

? ? ? ?2） 读artificial Intelligence，2、3版，都有；

? ? ? ?3） 如果英语好的话，最方便的就是查wikipedia，这个说的最清楚(研究生推荐读一读这个)

? ? ? ?4）不要什么都百度去，百度在学术方面目前做的非常差的；Google 学术非常好的，Google 技术问题也是非常棒的，国外的开源网站和社区更多，不像国内的动不动就让你注册，让你付费。

（2）简介：

通俗点的解释一下，sampling就是以一定的概率分布，看发生什么事件。举一个例子 —— 甲只能 ?E：吃饭、学习、打球，时间 ? ? T：上午、下午、晚上，天气 ? W：晴朗、刮风、下雨。现在要一个sample，这个sample可以是：打球+下午+晴朗 ?

问题是我们不知道p(E,T,W)，或者说，不知道三件事的联合分布。当然，如果知道的话，就没有必要用gibbs sampling了。 但是，我们知道三件事的conditional distribution。也就是说，p(E|T,W),p(T|E,p(W|E,T)。现在要做的就是通过这三个已知的条件分布，再用gibbs sampling的方法，得到joint distribution。

具体方法。首先随便初始化一个组合,i.e. 学习+晚上+刮风，然后依条件概率改变其中的一个变量。具体说，假设我们知道晚上+刮风，我们给E生成一个变量，比如，学习-》吃饭。我们再依条件概率改下一个变量，根据学习+刮风，把晚上变成上午。类似地，把刮风变成刮风（当然可以变成相同的变量）。这样学习+晚上+刮风-》吃饭+上午+刮风。

同样的方法，得到一个序列，每个单元包含三个变量，也就是一个马尔可夫链。然后跳过初始的一定数量的单元（比如100个），然后隔一定的数量取一个单元（比如隔20个取1个）。这样sample到的单元，是逼近联合分布的。

吉布斯(Gibbs)抽样可以在给定协方差数据和参数的先验分布条件下获得结构方程参数的后验分布样本。参数的点估计、区间估计和标准误就可以用这些样本数据计算。

吉布斯采样是生成马尔科夫链的一种方法，生成的马尔科夫链可以用来做蒙特卡洛仿真，从而求得一个较复杂的多元分布。

吉布斯采样的具体做法：假设有一个k维的随机向量，现想要构造一条有n个样本的k维向量（n样本马尔科夫序列），那么（随机）初始化一个k维向量，然后固定这个向量其中的k-1个元素，抽取剩下的那个元素（生成给定后验的随机数），这样循环k次，就把整个向量更新了一遍，也就是生成了一个新的样本，把这个整体重复n次就得到了一条马尔科夫链

二：所思所想