人工智能之受限玻尔兹曼机(RBM)

2018-05-10 10:28

AI优化生活

关注

用于训练RBM的算法被称作对比发散CD（contrastive divergence）算法。对比发散CD算法，目前已经成为训练RBM的标准算法。训练过程如下图所示。

RBM问题实质：

RBM求解目标可认为是让RBM网络表示的Gibbs分布与输入样本的分布尽可能地接近。

RBM问题最终可以转化为极大似然来求解。

RBM功能：

深信任网络DBN和深玻尔兹曼机DBM，由多层神经元组成，已经应用于许多机器学习任务中，能够很好地解决一些复杂问题，在一定程度上提高了学习性能。深神经网络由许多受限玻尔兹曼机RBM堆栈构成，RBM的可见层神经元之间和隐层神经元之间假定无连接。深神经网络用层次无监督贪婪预训练方法分层预训练RBM，将得到的结果作为监督学习训练概率模型的初始值，学习性能得到很大改善。无监督特征学习就是将RBM的复杂层次结构与海量数据集之间实现统计建模。通过无监督预训练使网络获得高阶抽象特征，并且提供较好的初始权值，将权值限定在对全局训练有利的范围内，使用层与层之间的局部信息进行逐层训练，注重训练数据自身的特性，能够减小对学习目标过拟合的风险，并避免深神经网络中误差累积传递过长的问题。RBM由于表示力强、易于推理等优点被成功用作深神经网络的结构单元使用，在近些年受到广泛关注，作为实际应用，RBM的学习算法已经在MNIST和NORB等数据集上显示出优越的学习性能。RBM的学习在深度神经网络的学习中占据核心的地位。

RBM应用场景：

玻尔兹曼机BM及其模型已经成功应用于协同滤波、分类、降维、图像检索、信息检索、语言处理、语音识别、时间序列建模、文档分类、非线性嵌入学习、暂态数据模型学习和信号与信息处理等任务。

受限玻尔兹曼机RBM在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同，受限玻尔兹曼机可以使用监督学习或无监督学习的方法进行训练。

结语：

受限玻尔兹曼机RBM是一种可通过输入数据集学习概率分布的随机生成神经网络。它是一种玻尔兹曼机BM的变体，限制玻尔兹曼机RBM和玻尔兹曼机BM相比，主要是加入了“限制”。所谓的限制就是，将完全图变成了二分图。RBM算法在人工智能之机器学习、降维、分类、协同过滤、特征学习和主题建模等领域有着广泛应用。

<上一页 1 2