作为我对机器智能前沿进行的一系列访谈的一部分，我最近采访了Yoshua Bengio。 Bengio是蒙特利尔大学计算机科学与操作研究系的教授，他是机器学习实验室（MILA）的负责人，并担任加拿大统计学习算法研究主席。他的研究的目标是了解产生智能的学习的原则。
关键外卖
• 自然语言处理自成立以来已经走了很长的路。通过矢量表示和自定义深度神经网络等技术，该领域已经采取了实际的语言理解的有意义的步骤。
• 通过深度学习认可的语言模式与Chomskyan学校隔离，并回到连接主义，这个领域在20世纪80年代流行起来。
• 在神经科学和机器学习之间的关系中，灵感流向两种方式，因为每个领域的进步给另一个领域带来新光。
• 无人监督的学习仍然是探索真实AI的关键奥秘之一。衡量我们在实现这一目标方面取得的进展，可以在机器梦想中的最不幸的地方找到。
David Beyer：让我们从你的背景开始。
Yoshua Bengio：自80年代以来，我一直在研究神经网络。我有我的博士学位。 1991年从麦吉尔大学，随后在麻省理工学院与迈克尔·乔丹博士后。之后，我与Yann LeCun，Patrice Simard，L.on Bottou，Vladimir Vapnik和其他人在贝尔实验室工作，并回到蒙特利尔，在那里我度过了我的生活。
由于命运会有它，神经网络在90年代中期失去了时尚，只有在过去十年才重新出现。然而，在这期间，我的实验室，以及一些其他团体推动。然后，在2005年或2006年的一次突破中，我们展示了成功训练深层神经网络的第一种方法，这种方法抵制了以前的尝试。
从那时起，我的实验室已经发展成为自己的研究所，有五六个教授，共有约65名研究人员。除了提高无监督学习的领域，多年来，我们的小组已经为一些领域做出了贡献，包括例如自然语言，以及经常网络，是专门处理语言序列的神经网络和其他域。
与此同时，我对神经科学和深度学习之间的桥梁非常感兴趣。这种关系削减了两种方式。一方面，AI研究中的某些电流可追溯到50年代的AI的开始，从人类的心灵中获得灵感。然而，自从神经网络重新出现以来，我们可以把这个想法摆在它的头上，并寻找机器学习，而不是作为一个灵感寻找高层次的理论解释在大脑中学习。
DB：让我们继续自然语言。这个领域如何演变？
YB：我在2000年在NIPS会议上发表了我的第一篇关于自然语言处理的大论文。普通的智慧表明，这个时代的最先进的语言处理方法永远不会提供AI，因为它是，直截了当地，太愚蠢。当时流行的基本技术是计算多少次，例如，一个词后面跟着另一个词，或三个词的序列在一起 - 以便预测下一个词或翻译一个词或短语。
然而，这样的方法缺乏任何意义的概念，排除其应用于高度复杂的概念并且正确地概括到以前没有见过的词的序列。考虑到这一点，我使用神经网络解决了这个问题，相信他们可以克服“维度的诅”“，并提出了一套方法和论据，这是深入学习的理论分析的核心。
这种所谓的诅se与机器学习中的基本挑战之一。当试图使用丰富的变量预测某事物时，它们可以采用的大量可能的值组合使得问题呈指数级的困难。例如，如果你考虑一个三个词的序列，每个词是100,000的词汇中的一个，有多少个可能的序列？ 100,000到立方体，这比人类可能读取的这种序列的数量多得多。更糟的是，如果你考虑10个词的序列，这是一个典型的短句的范围，你看到10万的力量，一个不可思议的大数字。
幸运的是，我们可以用他们的表示来替换单词，或者称为单词向量，并学习这些单词向量。每个词映射到一个向量，该向量本身是对应于该词的自动学习属性的一组数字;学习系统使用每个词的这些属性同时学习，例如预测给定先前的词的下一个词或者产生翻译的句子。将单词向量集视为一个大表（由多个属性的单词数量），其中每个单词向量由几百个属性给出。机器摄取这些属性并将它们作为输入馈送到神经网络。这样的神经网络看起来像任何其他传统网络，除了它的许多输出，在词汇表中每个词一个。为了正确地预测句子中的下一个单词或确定正确的翻译，这样的网络可能配备有例如100,000个输出。
这种方法最终效果很好。虽然我们开始测试这个在一个相当小的规模，在接下来的十年，研究人员已经取得了巨大的进步，训练更大和更大的模型在逐步更大的数据集。已经，这种技术取代了一些磨损的NLP方法，一致地达到最先进的基准。更广泛地说，我相信我们正处在自然语言处理的大变化之中，特别是在语义学方面。换句话说，我们正朝着自然语言理解迈进，特别是最近对包括一种推理形式的经常性网络的扩展。
除了它在NLP中的直接影响，这项工作涉及AI中的其他相邻主题，包括机器如何回答问题和参与对话。就像几个星期前，DeepMind在自然中发表了一篇关于与深度学习对话密切相关的论文。他们的论文描述了一个深层钢筋学习系统，击败欧洲Go冠军。所有的帐户，Go是一个非常困难的游戏，导致一些人预测，将需要几十年，电脑可以面对职业球员。从不同的角度看，像Go这样的游戏看起来很像人类演奏者和机器之间的对话。我很高兴看到这些调查的结果。
DB：深度学习如何符合Noam Chomsky的语言观点？
YB：建议完全相反。深度学习几乎完全依赖于通过数据学习。我们，当然，设计神经网络的架构，但在大多数情况下，它依赖于数据和很多。而乔姆斯基专注于一个先天的语法和逻辑的使用，深层学习看起来意义。语法，事实证明，是蛋糕上的糖霜。相反，真正重要的是我们的意图：它主要是决定我们的意思的词语的选择，并且相关的意义可以被学习。这些想法与乔姆斯基亚学校背道而驰。
DB：有没有一个替代学校的语言思想，提供更好的适应？
YB：在80年代，许多心理学家，计算机科学家和语言学家发展了认知心理学的连接主义方法。使用神经网络，这个社区给人类思想和学习注入了新的光芒，这些神经科学以基本成分为基础。事实上，反向传播和一些在今天使用的其他算法追溯到那些努力。
