DB：什么是其他一些领域，你看到令人振奋的进步？
IS：我认为极其重要的一般方向是：是能够进行更多顺序计算的学习模型吗？我提到了我认为深度学习是成功的，因为它可以比以前的（“浅”）模型做更多的顺序计算。因此，可以做更多顺序计算的模型应该更成功，因为它们能够表达更复杂的算法。这就像允许你的并行计算机运行更多的步骤。我们已经看到了这一点的开始，以关注模型的形式。
DB：注意模型与当前方法有何不同？
IS：在当前的方法中，你把你的输入向量和它给神经网络。神经网络运行它，应用几个处理阶段，然后获得输出。在注意模型中，你有一个神经网络，但你运行神经网络更长的时间。在神经网络中有一种机制，它决定它想要“看”的输入的哪一部分。通常，如果输入非常大，您需要一个大的神经网络来处理它。但是如果你有一个注意模型，你可以决定神经网络的最佳大小，独立于输入的大小。
DB：那么，你如何决定在网络中把注意力集中在哪里呢？
IS：说你有一句话，一个序列，说，100个字。注意模型将对输入句子发出查询并且创建对输入单词的分布，使得与查询更相似的单词将具有较高的概率，并且与查询较不相似的单词将具有较低的概率。然后取其加权平均值。由于每个步骤都是可区分的，我们可以训练注意模型在哪里看反向传播，这是它的吸引力和成功的原因。
DB：你需要对框架本身做什么样的改变？你需要什么新的插入这个注意的概念？
IS：嗯，关注的伟大的事情，至少可区分的注意，是你不需要插入任何新的代码到框架。只要你的框架支持矩阵或向量的元素级乘法和指数，这就是你需要的。
DB：所以，注意模型解决你先前问的问题：我们如何更好地利用现有的电力与更少的数据？
IS：基本上是正确的。有很多理由令人兴奋的注意。其中一个是注意模型只是工作更好，允许我们用更少的数据实现更好的结果。另外，记住，人类明显有注意。这是让我们得到结果的东西。这不只是一个学术概念。如果你想象一个真正的智能系统，当然，它也会注意。
DB：关注的一些关键问题是什么？
IS：可区分的注意在计算上是昂贵的，因为它需要在模型操作的每个步骤访问整个输入。当输入是一个只有100个词的句子时，这是很好的，但是当输入是一个10,000字的文档时，这是不切实际的。所以，主要问题之一是速度。注意应该快，但可区分的注意不快。注意力的加强学习可能更快，但是使用对数千个物体的强化学习的训练注意控制将是不平常的。
DB：就我们所知，在大脑中有无模拟学习吗？
IS：如果看正确，大脑是一个伟大的灵感来源。大脑是否做无监督学习的问题在某种程度上取决于你认为是无监督学习的。在我看来，答案是毫无疑问的。看看人们的行为，并注意到人们并没有真正使用监督学习。人类从不使用任何种类的监督。你开始读一本书，你明白了，突然你可以做新的事情，你以前不能做。考虑一个孩子，坐在课堂上。这不像学生给了很多输入/输出示例。监督是非常间接的;所以，必然有很多无监督的学习。
DB：你的工作是受人类大脑及其力量的启发。神经科学对大脑的理解能延伸到理论化和应用机器学习的领域有多远？
IS：有大量的看大脑的价值，但它必须仔细做，并在正确的抽象层次。例如，我们的神经网络具有在它们之间具有连接的单元，并且使用缓慢互连处理器的想法直接地由大脑启发。但这是一个微弱的比喻。
神经网络被设计为在软件实现中是计算高效的，而不是生物学上可信的。但整体思路是受大脑启发，并且是成功的。例如，卷积神经网络回应我们的理解，视觉皮层中的神经元具有非常局部的感知场。这是关于大脑的知识，这些信息已经成功地传递到我们的模型。总的来说，如果仔细和负责任地做，我认为研究大脑是有价值的。
