订阅
纠错
加入自媒体

数据爆炸与复杂模型 让AI计算迎来更多创新机会

随着人工智能首次写入政府工作报告并且国务院印发了《新一代人工智能发展规划》,人工智能产业被视作新的重要经济增长点,人工智能技术应用成为改善民生的新途径。可以说,以人工智能技术为代表的第四次工业革命扑面而来,以前所未有的方式给人们的生活带来巨大改变。

人工智能将重构所有行业

综观人工智能近几年的发展,可以观察到一个显著趋势就是人工智能和各行各业的联系越来越密切。从长期来看,人工智能拥有令人难以置信的力量,将重构几乎所有行业。

在搜索引擎业务中,无论是文本、图片搜索还是语音搜索,我们会发现机器似乎变得越来越聪明;在医疗保健行业,人工智能给医学影像带来了很大的改变;在金融行业,人工智能在投资组合设计、金融产品营销以及金融安全保障领域都有应用;在汽车制造行业,谷歌、Uber、百度等科技公司以及戴姆勒、福特等众多的汽车厂商正在开发智能驾驶;在天气预报领域,人工智能的技术目前在雷达外推短时临近预报上已得到应用;在石油勘探领域,神经网络和模糊逻辑相结合被成功应用到了裂隙性油藏的分析,以及选择最佳的测井数据对油藏特征进行研究中。

AI发展:大数据+大模型+大计算

人工智能在今天得以快速的发展,跟数据、算法、计算的发展息息相关。

目前,全球数据量正以平均年增长率50%的速度增长,预计到2020年全球数据总量将超过40ZB,而2020年中国的数据总量将占全球数据总量的20%,成为世界第一数据资源大国和全球数据中心。

同时,人工智能深度神经网络也在快速的发展,更深更大的算法模型、更复杂的架构正在成为趋势。卷积网络曾是最大最深的神经网络架构之一,但如今,它被抽象成了大多数新架构中的一小部分。

最后,数据的增加、模型的复杂,将为计算带来更大的挑战空间,当如此庞大的数据用于人工智能的训练学习时,数据量将超出内存和处理器的承载上限,如果计算力不能相应增长,整个学习过程将变得无比漫长,甚至完全无法实现最基本的人工智能。

AI计算迎来更多创新机会

从人工智能的三要素来看,如何更好地将爆炸式增长的海量数据用于模型训练,已成为人工智能未来发展的关键环节。数据与模型的快速发展,在为计算带来挑战的同时,也提供了更多的创新机会。

那么在人工智能计算创新方面,则应从强调构建AI系统能力与价值着眼,在硬件创新、软件实现、框架优化和应用加速4个维度赋能AI,这四个维度形成了一个完整的“4S”组合:硬件创新是“Server”,加上软件实现构成“System”,再加上框架优化就是“Solution”,最后加上应用加速即是“Services”,这也是浪潮今年提出的AI端到端解决方案。

复杂的人工智能应用环境是进行人工智能硬件创新开发时要考虑的重要因素。人工智能在模型训练时对计算需求大,更依赖GPU,而当产品服务上线后,计算需求减少,吞吐量需求增大,要考虑低延迟的产品。今年,浪潮与百度在AI计算上联合开发的SR-AI整机柜服务器,就是根据百度的AI模型训练需求开发的。我们将CPU和GPU分开成两个BOX,CPU主要负责管理和控制,GPU主要负责AI运算,通过专用的线缆将2个部分高速地连起来,随着模型复杂度的增加和规模的增加,计算量会增加,如果一个GPU BOX不够,就可以扩展多个GPU BOX。目前,我们开发的这款SR-AI整机柜服务器可以实现单节点16卡、单物理集群64卡的超高密度扩展能力,已经应用在百度无人车之中,具备千亿样本、万亿参数级别的AI计算能力。同时,在前端推理方面,浪潮、科大讯飞和Altera公司共同发起了一项基于FPGA在智能语音识别领域的合作,三方完成了基于OpenCL的FPGA线上深度学习语音识别加速方案。

在AI系统管理方面,深度学习的模型训练往往流程较长、开发环境较复杂,涉及数据准备和处理、特征工程、建模、调参等多个步骤及多个框架和模型,每个框架依赖环境不同且有可能交叉使用。更大的“痛点”在于,深度学习模型在训练时往往耗时较长,短则数小时,长则数天,以往在训练完成后才意识到模型存在问题,大大耗费了用户的精力和时间。浪潮根据此需求设计开发的AIStation管理软件可以提供从数据准备到分析训练结果的完整深度学习业务流程,支持Caffe、TensorFlow、CNTK等多种计算框架和GoogleNet、VGG、ResNet等多种模型,有效地提高计算资源的利用率和生产率,为深度学习用户提供高效易用的平台。

深度学习框架可以帮助用户更好更快地开发深度学习模型,浪潮主导开发的全球首个集群并行版的Caffe深度学习计算框架Caffe-MPI,目前已在Github上开源公布所有代码。在基于国际通行的Imagenet数据集进行深度学习模型训练时,Caffe-MPI表现出良好的并行扩展,其性能是Google最新深度学习框架TensorFlow的近两倍。

AI应用优化是浪潮极为重视的一项核心能力。浪潮与奇虎360合作开展了针对图片搜索技术的GPU架构移植,基于K-means无监督聚类算法串行版本,完成GPUMPI集群版本的实现,节点内使用CPU+GPU协同计算,大幅降低了计算时间。

人工智能是当前人类所面对的最为重要的技术社会变革,可以全面提升一个国家的实力,全球许多国家都对AI充满了憧憬与渴望。中国作为快速成长的数据资源大国,已连续多年成为全球服务器增长最快的市场,在发展人工智能上具备得天独厚的数据优势与计算优势,这将让中国有能力成为人工智能的技术强国、应用大国。

声明: 本文由入驻维科号的作者撰写,观点仅代表作者本人,不代表OFweek立场。如有侵权或其他问题,请联系举报。

发表评论

0条评论,0人参与

请输入评论内容...

请输入评论/评论长度6~500个字

您提交的评论过于频繁,请输入验证码继续

暂无评论

暂无评论

人工智能 猎头职位 更多
扫码关注公众号
OFweek人工智能网
获取更多精彩内容
文章纠错
x
*文字标题:
*纠错内容:
联系邮箱:
*验 证 码:

粤公网安备 44030502002758号