您当前的位置：首页 > 无限物联

知道这十大趋势你就能了解未来的人工智能

2017-05-11 02:55:45

随着Google、Microsoft和Facebook等巨头的大力投入，深度学习正在超出机器学习，人工智能来势凶悍。那末，如今人工智能最热门的技术趋势是甚么？

黑匣认为，复杂神经网络、LSTMs(长短时间记忆网络)、注意力模型(Attention Models)等10大趋势将塑造人工智能未来的技术格局。

上述判断来自NIPS(神经信息处理系统) 2015大会。NIPS始于1987年，是人工智能领域两大重要学习会议之1，由于AI的爆炸式发展，最近几年来逐步成为许多硅谷公司必须参加的年度会议。在蒙特利尔召开的NIPS 2015吸引了众多AI学界与业界的顶级专家，预会人数接近4000。大会总共收录了403篇论文，其中深度学习课题约占11%。来自Dropbox的高级软件工程师Brad Neuberg分享了他所注意到的10大技术趋势，黑匣将对每种趋势做了详细分析。

1、神经网络的架构正变得愈来愈复杂

感知和翻译等大多数神经网络的架构正变得愈来愈复杂，远非此前简单的前馈神经网络或卷积神经网络所能比。特别需要注意的是，神经网络正与不同的技术(如LSTMs、卷积、自定义目标函数等)相混合。

神经网络是多数深度学习项目的根基。深度学习基于人脑结构，1层层相互连接的人工摹拟神经元模仿大脑的行动，处理视觉和语言等复杂问题。这些人工神经网络可以搜集信息，也能够对其做出反应。它们能对事物的外形和声音做出解释，还可以自行学习与工作。

(人工摹拟神经元试图模仿大脑行动 | 图片来源：Frontiers)

但这1切都需要极高的计算能力。早在 80 年代早期，Geoffrey Hinton和他的同事们就开始研究深度学习。但是彼时电脑还不够快，不足以处理有关神经网络的这些庞大的数据。当时AI研究的普遍方向也与他们相反，人们都在寻觅捷径，直接摹拟出行动而不是模仿大脑的运作。

随着计算能力的提升和算法的改进，今天，神经网络和深度学习已成为人工智能领域最具吸引力的流派。这些神经网络还在变得更复杂，当年“谷歌大脑”团队最开始尝试“无监督学习”时，就动用了1.6万多台微处理器，创建了1个有数10亿连接的神经网络，在1项实验中观看了千万数量级的YouTube图象。

2、酷的人都在用LSTMs

当你浏览本文时，你是在理解前面词语的基础上来理解每一个词语的。你的思想具有连续性，你不会抛弃已知信息而从头开始思考。传统神经网络的1大缺点便是没法做到这1点，而递归神经网络(RNN)能够解决这1问题。

RNN具有循环结构，可以延续保存信息。过去几年里，RNN在语音辨认和翻译等许多问题上获得了难以置信的成功，而成功的关键在于1种特殊的RNN——长短时间记忆网络(LSTMs)。

普通的RNN可以学会预测“the clouds are in the sky”中最后1个单词，但难以学会预测“I grew up in France… I speak fluent French。”中最后1个词。相干信息(clouds、France)和预测位置(sky、French)的间隔越大，神经网络就越加难以学习连接信息。这被称为是“长时间依赖关系”问题。