【NeurIPS 2019】Yoshua Bengio报告：深度学习系统从1代到2代，未来将朝何处发展？

NeurIPS 2019正在加拿大温哥华召开。作为机器学习领域最重要的顶会，NeurIPS一直有着很强的影响力和排名，被认为是神经计算方面最好的会议之一。

本文为大家带来了深度学习推动者、图灵奖得主Yoshua Bengio在会议上所作的报告。

→点此进入“报告下载”

一、报告摘要

早期，深度学习的进展主要集中在对静态数据集的学习上，主要用于各类感知任务，这些任务大都依靠人类的直觉，可以在无意识的情况下完成，可称为第一代系统需求。然而，最近几年，随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展，它们为深度学习架构和训练框架的进一步发展，开启了新的大门，这种深度架构和训练框架有助于解决第二代系统需求（这种系统任务需要人类有意识的去完成），如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。

从第一代系统的深度学习，扩展到第二代系统的任务之中，对于完成之前挖掘高层次抽象特征的目标是非常重要的，因为我们认为第二代系统需求，将会对表征学习提出更高的要求，以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为，为了达到这个目标，soft-attention机制是关键因素，它每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。

二、作者简介

 

Yoshua Bengio是人工智能自然语言处理领域的先锋。Bengio，1964年出生于法国，成长于加拿大，现居蒙特利尔，在蒙特利尔大学（University of Montreal）计算机科学与运算系任教授。Bengio在麦吉尔大学获得计算机科学博士学位。

他与Geoffrey Hinton、Yann LeCun一起被认为是20世纪90年代和21世纪初期推动深度学习的三个人。2016年10月，Bengio联合创立了一个位于蒙特利尔的人工智能孵化器Element AI。

三、报告分享

 

 

 

 

 

 

 

 

 

 

 

 

 

（本文部分内容整理自专知）

往期回顾：

【NeurIPS100】NeurIPS2019 七篇获奖论文揭晓 入选论文深度分析！

NeurIPS十年高引学者TOP100榜单发布！这些大牛值得膜拜！

【NeurIPS100】AMiner参会攻略：13000人的NeurIPS大会，如何参加更高效？