当前位置:

OFweek人工智能网

机器学习

正文

人工智能之Q Learning算法

导读: 人工智能机器学习有关算法内容,请参见公众号“科技优化生活”之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下Q Learning算法。

人工智能机器学习有关算法内容,请参见公众号“科技优化生活”之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下Q Learning算法。 ^_^

通过前一篇TD-Learning时序差分(请参见人工智能(48)算法介绍,我们知道,TD-Learning时序差分是结合了动态规划DP蒙特卡洛MC(请参见人工智能(31))方法,并兼具两种算法的优点,是强化学习的中心

TD-learning时序差分大概分了6类。其中,策略行动价值qπ的off-policy时序差分学习方法: Q-Learning(单步),Double Q-Learning(单步)。今天重点介绍Q-Learning算法

Q Learning算法是由Watkins于1989年在其博士论文中提出,是强化学习发展的里程碑,也是目前应用最为广泛的强化学习算法。

Q Learning算法概念:

Q Learning算法是一种off-policy的强化学习算法,一种典型的与模型无关的算法,即其Q表的更新不同于选取动作时所遵循的策略,换句化说,Q表在更新的时候计算了下一个状态的最大价值,但是取那个最大值的时候所对应的行动不依赖于当前策略。

Q Learning始终是选择最优价值的行动,在实际项目中,Q Learning充满了冒险性,倾向于大胆尝试。

Q Learning算法下,目标是达到目标状态(Goal State)并获取最高收益,一旦到达目标状态,最终收益保持不变。因此,目标状态又称之为吸收态

Q Learning算法下的agent,不知道整体的环境,知道当前状态下可以选择哪些动作。通常,需要构建一个即时奖励矩阵R,用于表示从状态s到下一个状态s’的动作奖励值。由即时奖励矩阵R计算得出指导agent行动的Q矩阵

Q矩阵是agent的大脑

Q Learning算法本质

QLearning属于TD-Learning时序差分学习。同样,该算法结合了动态规划和蒙特卡罗MC算法,模拟(或者经历)一个情节,每行动一步(或多步)后,根据新状态的价值,来估计执行前的状态价值。

下面提到的Q-Learning是单步更新算法。

Q Learning算法描述:

Q-learning是一个突破性的算法。

利用下面公式进行off-policy学习,即用公式来表示Q-Learning中Q表的更新:

Q(St,At)←Q(St,At)+α[Rt+1+γmax Q(St+1,a)?Q(St,At)]

其中:

St: 当前状态state

At: 从当前状态下,采取的行动action

St+1:本次行动所产生的新一轮state

At+1: 次回action

Rt: 本次行动的奖励reward

γ为折扣因子,0<= γ<1,γ=0表示立即回报,γ趋于1表示将来回报,γ决定时间的远近对回报的影响程度,表示牺牲当前收益,换取长远收益的程度。将累计回报作为评价策略优劣的评估函数。当前的回报值以及以前的回报值都可以得到,但是后续状态的回报很难得到,因此累计回报就难以计算。而Q-learning用Q函数来代替累计回报作为评估函数,正好解决这个问题。

α为控制收敛的学习率,0< α<1。通过不断的尝试搜索空间,Q值会逐步趋近最佳值Q*

1Q-learning单步时序差分学习方法算法描述

Initialize Q(s,a),?s∈S,a∈A(s) arbitrarily, and Q(terminal, ˙)=0
Repeat (for each episode):
? Initialize S
? Choose A from S using policy derived from Q (e.g. ??greedy)
? Repeat (for each step of episode):
?? Take action A, observe R,S′
?? Q(S,A)←Q(S,A)+α[R+γmaxa Q(S‘,a)?Q(S,A)]
?? S←S′;
? Until S is terminal

每个episode是一个training session,且每一轮训练意义就是加强大脑,表现形式是agent的Q矩阵元素更新。当Q习得后,可以用Q矩阵来指引agent的行动。

Q-learning使用了max,会引起一个最大化偏差(Maximization Bias)问题。
可以使用Double Q-learning可以消除这个问题。

2Double Q-learning单步时序差分学习方法算法描述

Initialize Q1(s,a) and Q2(s,a),?s∈S,a∈A(s) arbitrarily
Initialize Q1(terminal, ˙)=Q2(terminal, ˙)=0
Repeat (for each episode):
? Initialize S
? Repeat (for each step of episode):
?? Choose A from S using policy derived from Q1 and Q2 (e.g. ??greedy)
?? Take action A, observe R,S′
?? With 0.5 probability:
??? Q1(S,A)←Q1(S,A)+α[R+γQ2(S′,argmax Q1(S′,a))?Q1(S,A)]
?? Else:
??? Q2(S,A)←Q2(S,A)+α[R+γQ1(S′,argmax Q2(S′,a))?Q2(S,A)]
?? S←S′;
? Until S is terminal

Double Q Learning算法本质上是将计算Q函数进行延迟,并不是得到一条样本就可以更新价值函数,而是一定的概率才可以更新。由原来的1条样本做到影响决策变为多条(至少两条)样本影响决策。

Q Learning理论基础:

QLearning理论基础如下:

1)蒙特卡罗方法

2)动态规划

3)信号系统

4)随机逼近

5)优化控制

Q Learning算法优点:

1)所需的参数少;

2)不需要环境的模型;

3)不局限于episode task;

4)可以采用离线的实现方式;

5)可以保证收敛到 qπ。

Q Learning算法缺点:

1)    Q-learning使用了max,会引起一个最大化偏差问题;

2)    可能会出现更新速度慢;

3)    可能会出现预见能力不强。

注:使用Double Q-learning可以消除问题1);使用多步Q -learning可以消除问题2)和3)。

Q Learning算法应用:

从应用角度看,Q Learning应用领域与应用前景都是非常广阔的,目前主要应用于动态系统、机器人控制、工厂中学习最优操作工序以及学习棋类对弈等领域。

结语:

Q Learning一种典型的与模型无关的算法,它是由Watkins于1989年在其博士论文中提出,是强化学习发展的里程碑,也是目前应用最为广泛的强化学习算法。Q Learning始终是选择最优价值的行动,在实际项目中,Q Learning充满了冒险性,倾向于大胆尝试,属于TD-Learning时序差分学习。Q Learning算法已经被广泛应用于动态系统、机器人控制、工厂中学习最优操作工序以及学习棋类对弈等领域。


声明: 本文由入驻OFweek公众平台的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

我来说两句

(共0条评论,0人参与)

请输入评论

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

  • 人工智能
  • 猎头职位
更多
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号