受限波尔滋曼机

马尔可夫链

MCMC与Metropolis算法

抽样:抽取若干样本点使其满足某种分布。在计算机中,均匀分布是比较容易实现抽样的。
假如要产生其他分布的随机数,如果该分布不是很复杂,可以借助产生均匀分布的随机数来实现。比如产生正态分布的随机数,可以使用Box-Muller变换。
常用的分布,都可以通过类似Box-Muller变换的方法得到。而对于随意的分布,或者形式更复杂的分布,样本的生成就比较困难了,这时我们就可以使用MCMC方法。
MCMC算法的意义在于:转移矩阵的抽样是容易的,而平稳分布的概率是比较复杂的。波尔滋曼机中,转移矩阵是对称的。
MH算法:

Gibbs采样

波尔滋曼机与Gibbs采样的联系

热平衡状态其实就等同于Gibbs采样。

受限波尔滋曼机

CD学习算法