1）强化学习

强化学习框架中，有一个包含神经网络的Agent负责决策。Agent以当前机器人传感器所采集到的环境为输入，输出控制机器人的行动命令action，机器人行动后，再观察新的环境状态和行动带来的结果Reward，决定下一步新的行动action。Reward根据控制目标进行设置，并有正反向之分。例如，如果以自动驾驶为目标，正向的Reward的就是到达目的地，反向就是不能达到目的地，更不好的Reward就是出车祸。然后重复这个过程，目标是最大化Reward。

强化学习的控制过程，本来就是个正向反馈的控制过程，是AI用于机器人控制的基础。以此为基础，强化学习在机器人控制方面出现了一些研究成果。

2）环境中寻找目标

16年，李飞飞组放出了一篇论文，基于深度强化学习，在以目标图像为输入的情况下，不建图去找东西。大致思路是：根据机器看到的图，决定怎么走，然后再看图，再决定新走的一步，直到找到东西。论文将目标图像作为输入，训练出来的神经网络具有通用性。

这种方式找东西更接近人的思维。训练出的控制器并没有记住物体的位置，更不知道房屋的结构。但它记住了在每一个位置，通向各个物体应该怎么走。

3）机器人抓取

传统的机器人学研究认为，需要非常清楚要抓取的物体的三维几何形状，分析受力位置和力的大小，再反向计算机器手如何一步步移动到这些位置。但这种方式抓取不规则形状和柔性物体会很困难。例如毛巾，可能需要看成一系列刚体的链接，再进行动力学建模分析，但是计算量比较大。而小黄鸭那样的橡胶，外部并不能看出弹性程度，难以计算出需要施加的正确的力。

Pieter Abbeel、DeepMind和OpenAI关于机器人控制的研究，都以此深度强化学习为基础。基于强化学习进行机器人抓取，以机器视角看到的图像为输入，以机器最终抓到物体为目标，不断对机器进行训练，从而在不建模和不做受力分析的情况下，实现对物体的抓取。Pieter Abbeel已经展示过机器人叠毛巾，开瓶盖，装玩具等复杂的动作。

不过基于强化学习也仍有很多问题，如效率低、推理过程长、任务难以描述、不能终身学习、不能最大限度从真实世界获取信息等。其中一些通过meta学习，one－shot学习，迁移学习，VR示教等方法的引入得到了改善，有些则还暂时难以解决。

4．Dexterity Network

鉴于深度强化学习的各种问题，Pieter Abbeel在UCBerkeley的同事Ken Goldberg，则采用了叫做Dexterity Network（Dex－Net）的研究思路。首先通过传统机器人学中分析受力和建模的思路，建立一个包含大量数据的数据集，这个数据集里的每一项数据包含一个物体的模型和这个物体在不同姿态下可以被稳定抓起来的施力方式，这些施力方式是通过物体模型计算出来的。有了数据之后，用这些数据训练一个神经网络。然后给出一个新物体，通过神经网络判断这个物体和数据集里哪个物体最相似，然后根据最相似的物体的数据集里包含的施力方式计算出这个新物体的最稳定施力方式。

Ken Goldberg的方案的一个重要弊端，是计算量过于庞大。整个算法占用了Google云服务器上的1500台虚拟机的计算量。此方法也让“云机器人”这个概念受到了关注。

目前Pieter Abbeel和Ken Goldberg的两种方法还处于学术争议阶段，新的研究成果还在不断出现，也还有很多问题没有解决，尤其是稳定性和鲁棒性是各方争议的焦点。不同于语音识别音箱出了错，无非是闹个笑话，机器人系统对稳定性和可靠性的要求非常高，系统一旦出错，轻则毁物，重则造成人类的生命危险。Pieter Abbeel也承认目前还没考虑鲁棒性和稳定性问题，似乎整体还没达到商用产品级。

总结

总体而言，以强化学习为代表，AI在机器人控制领域近两年取得了一些进展，尤其是在过去研究方法难以突破的环境交互问题方面取得了进展。但基于神经网络的控制系统，在鲁棒性等方面短期似乎难以得到解决，因此离实际应用还有很远的距离。在多种研究方法的共同努力下，我们也期待机器人控制问题能够早日有所突破。