当前位置:

OFweek人工智能网

机器学习

正文

人工智能之Hopfield神经网络(HNN)

导读: 前言:人工智能机器学习有关算法内容,请参见公众号“之前相关文章。今天我们重点探讨一下Hopfield神经网络(HNN)。

神经网络在1980年代复兴归功于物理学家约翰·霍普菲尔德(Hopfield)。1982年,霍普菲尔德提出了一种新的神经网络,可以解决一大类模式识别问题,还可以给出一类组合优化问题的近似解。这种神经网络模型后被称为Hopfield神经网络

人工智能之Hopfield神经网络(HNN)

Hopfield神经网络是一种循环神经网络[请参见公众号“科技优化生活”之人工智能(23)],由约翰·霍普菲尔德发明,他将物理学的相关思想(动力学)引入到神经网络的构造中,从而形成了Hopfield神经网络。贝尔实验室在1987年成功在Hopfield神经网络的基础上研制出了神经网络芯片

Hopfield神经网络是一种递归神经网络,从输出到输入均有反馈连接,每一个神经元跟所有其他神经元相互连接,又称为全互联网络

Hopfield神经网络概述:

Hopfield神经网络HNN(Hopfiled Neural Network)是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛,但收敛到错误的局部极小值(local minimum),而非全局极小(global minimum)的情况也可能发生。Hopfield神经网络也提供了模拟人类记忆的模型。

人工智能之Hopfield神经网络(HNN)

Hopfield神经网络是反馈神经网络,其输出端又会反馈到其输入端,在输入的激励下,其输出会产生不断的状态变化,这个反馈过程会一直反复进行。假如Hopfield神经网络是一个收敛的稳定网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦达到了稳定的平衡状态,Hopfield网络就会输出一个稳定的恒值

人工智能之Hopfield神经网络(HNN)

对于一个Hopfield神经网络来说,关键在于确定它在稳定条件下的权系数

人工智能之Hopfield神经网络(HNN)

Hopfield神经网络分为两种:1)离散型Hopfield神经网络;2)连续型Hopfield神经网络。

离散型Hopfield神经网络:

Hopfield最早提出的网络是二值神经网络,各神经元的激励函数为阶跃函数或双极值函数,神经元的输入、输出只取{0,1}或者{ -1,1},所以也称为离散型Hopfield神经网络DHNN(Discrete Hopfiled Neural Network)。在DHNN中,所采用的神经元是二值神经元;因此,所输出的离散值1和0或者1和-1分别表示神经元处于激活状态和抑制状态。

离散Hopfield神经网络DHNN是一个单层网络,有n个神经元节点,每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态(1或-1),即当该神经元所受的刺激超过其阀值时,神经元就处于一种状态(比如1),否则神经元就始终处于另一状态(比如-1)。

人工智能之Hopfield神经网络(HNN)

DHNN有两种工作方式:

1)串行(异步)方式:在时刻t时,只有某一个神经元j的状态发生变化,而其他n-1个神经元的状态不变,称为串行工作方式。并且有:

人工智能之Hopfield神经网络(HNN)

2)并行(同步)方式:在任一时刻t,所有的神经元的状态都产生了变化,称为并行工作方式。并且有:

人工智能之Hopfield神经网络(HNN)

DHNN稳定性:

假设一个DHNN,其状态为Y(t): 

人工智能之Hopfield神经网络(HNN)

如果对于任何Δt>0,当神经网络从t=0开始,有初始状态Y(0)。经过有限时刻t,有: 

Y(t+Δt)=Y(t) 

则认为该DHNN网络是稳定的,称其状态为为稳定状态。DHNN网络的稳定状态X就是网络的吸引子(attractor),用于存储记忆信息。串行方式下的稳定性称为串行稳定性;并行方式下的稳定性称为并行稳定性。

人工智能之Hopfield神经网络(HNN)

DHNN是一种多输入、含有阈值的二值非线性动态系统。在动态系统中,平衡稳定状态可以理解为系统某种形式的能量函数(energy function)在系统运行过程中,其能量不断减少,最后处于最小值

DHNN稳定的充分条件:如果DHNN的权系数矩阵W是一个对称矩阵,并且对角线元素为0,则这个网络是稳定的。即在权系数矩阵W中,如果:

人工智能之Hopfield神经网络(HNN)

则该DHNN是稳定的。

W是一个对称矩阵仅是充分条件,不是必要条件。

DHNN联想记忆功能:

DHNN一个重要功能是可以用于联想记忆,即联想存储器,这是人类的智能特点之一。

人工智能之Hopfield神经网络(HNN)

要实现联想记忆,DHNN必须具有两个基本条件:

1) 网络能收敛到稳定的平衡状态,并以其作为样本的记忆信息;

2) 具有回忆能力,能够从某一残缺的信息回忆起所属的完整的记忆信息。

DHNN实现联想记忆过程分为两个阶段

1)学习记忆阶段: 设计者通过某一设计方法确定一组合适的权值,使DHNN记忆期望的稳定平衡点。

2)联想回忆阶段: DHNN的工作过程。

记忆是分布式的,而联想是动态的。

对于DHNN,由于网络状态是有限的,不可能出现混沌状态。

DHNN局限性:

1)记忆容量的有限性;

2)伪稳定点的联想与记忆;

3)当记忆样本较接近时,网络不能始终回忆出正确的记忆等;

4)DHNN平衡稳定点不可以任意设置,也没有一个通用的方式来事先知道平衡稳定点。

连续型Hopfield神经网络:

连续Hopfield神经网络CHNN(Continuous Hopfield Neural Network)与DHNN在拓扑结构上是一致的。

CHNN稳定性:

CHNN稳定条件要求:

人工智能之Hopfield神经网络(HNN)

CHNN与DHNN不同之处在于其函数g不是阶跃函数,而是S型的连续函数。一般取: 

人工智能之Hopfield神经网络(HNN)

CHNN在时间上是连续的,所以CHNN网络中各个神经元是处于同步方式工作的。

人工智能之Hopfield神经网络(HNN)

当CHNN网络的神经元传递函数g是连续且有界的(如Sigmoid函数),并且CHNN网络的权值系数矩阵对称,则这个CHNN网络是稳定的

优化问题:

在实际应用中的系统,如果其优化问题可以用能量函数E(t)作为目标函数,那么CHNN网络和优化问题直接对应。这样,大量优化问题都可以用CHNN网络来求解。这也是Hopfield网络用于神经计算的基本原因。

人工智能之Hopfield神经网络(HNN)

CHNN与DHNN主要区别:

CHNN与DHNN的主要差别在于:CHNN神经元激活函数使用Sigmoid函数,而DHNN神经元激活函数使用了硬极限函数。

Hopfield神经网络应用:

Hopfield神经网络早期应用包括按内容寻址存储器,模数转换及优化组合计算等。具有代表意义的是解决TSP问题,1985年Hopfield和Tank用Hopfield网络求解N=30的TSP问题,从而创建了神经网络优化的新途径。除此之外,Hopfield 神经网络在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

人工智能之Hopfield神经网络(HNN)

结语:

Hopfield神经网络(HNN)是一种具有循环、递归特性,结合存储和二元系统的神经网络。由约翰·霍普菲尔德在1982年发明。对于一个Hopfield神经网络来说,关键在于确定它在稳定条件下的权系数。Hopfield神经网络分为离散型和连续型两种,主要差别在于激活函数的不同。Hopfield神经网络(HNN)提供了模拟人类记忆的模型。它在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

原创  张志荣

声明: 本文由入驻OFweek公众平台的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

我来说两句

(共0条评论,0人参与)

请输入评论

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号