当前位置:

OFweek人工智能网

机器学习

正文

深度学习的下一站:迁移学习

导读: 当前,人工智能的主流算法——深度学习模型在语音识别、图像识别、信息推荐等方面已经非常有影响,但是在医疗、教育等领域的应用还存在困难。

当前,人工智能的主流算法——深度学习模型在语音识别、图像识别、信息推荐等方面已经非常有影响,但是在医疗、教育等领域的应用还存在困难。这缘于以下三个方面:

第一,在医疗、教育领域能够接触到的数据往往都是小数据,而不是大数据。比如,教育、医疗、基因检测等的个人数据,实验、学生测验、客服问答等数据都只是小数据。只有实现了从大数据向小数据迁移的通用模型,才能帮助更多的领域用上人工智能,让人工智能更普及。

第二,深度学习模型非常脆弱,离开现有场景或稍加移动,其效果就会打折扣。对机器学习而言,由于训练数据与应用数据有所区别,被训练出来的模型在应用中就会遭遇这类可靠性问题。

第三,机器学习模型难以实现应用的个性化。例如,在推荐类的信息服务上,机器学习很难适用于个人行为。如果要实现这一点,需要解决如何把云端的通用模型适配到终端小数据。

上述深度学习面对的可靠性和应用个性化的问题,是迁移学习比较适合的事情,迁移学习原理上可帮助机器学习从云端向移动端迁移。

深度学习的一个自然发展方向就是迁移学习。迁移学习能让深度学习变得更加可靠,还能帮我们理解深度学习的模型。比如,我们能够知晓哪部分特征容易迁移,这些特征所对应的是某个领域比较高层、抽象的一些结构型概念。把它们和细节区分开,就能让我们对这个领域的知识表达形成一个很深的理解。这样一来,机器学习就可以像生物的神经系统一样终身学习,不断地对过去的知识进行总结、归纳,让一个系统越学越快,而且在学习过程中还能发现如何学习。

深度学习的特点是用非线性把原始的特征从低层转化到高层,这个过程很复杂,其优点有目共睹,但副产品是特征分层。恰巧,这种层次对于迁移学习是有好处的,比如,能够对迁移学习的效果进行量化。

等深度学习有了一定的发展后,迁移学习就有可能实现这一点,让算法不再仅仅运行指定的学习任务,而是能举一反三,变得比以前更加通用。

而且,在不同的迁移目标下,知识可以从一个领域到另一个领域,在不同层次迁移,并且能迁移多少是可以定量的——这在过去还停留在“能不能迁移”,现在已经可以精确地知道哪些可以迁移:是一部分参数,还是一部分特征。

另外,当几个不同的任务一起学习时,往往会有一些惊人的发现,这就是多任务学习。多任务学习往往会发现不同的领域所共有的知识,往往很容易抽象出高层的知识,也就很容易用来表达不同领域之间的共性。所以,多任务学习和迁移学习的目标是一致的,都是要实现比较稳定的知识表达,殊途而同归。

声明: 本文由入驻OFweek公众平台的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

我来说两句

(共0条评论,0人参与)

请输入评论

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号