Ilya Sutskever是Google的研究科学家，也是许多关于神经网络和相关主题的出版物的作者。 Sutskever是DNNresearch的联合创始人，并被评为加拿大第一个Google Fellow。
关键因素：
1.由于人类可以非常快速地解决感知问题，尽管我们的神经元相对较慢，中等深度和大型神经网络已经使机器以类似的方式成功。
2.无监督学习仍然是一个谜，但是对该领域的充分理解有潜力从根本上改变机器学习领域。
3.注意模型表示强大的学习算法的一个有前途的方向，需要更少的数据在更硬的问题上成功。
David Beyer：让我们从你的背景开始。 你对机器学习兴趣的演变是什么，你是如何对你的博士学习的？ 工作？
Ilya Sutskever：我开始了博士学位。只是在深度学习成为一件事。我正在研究一些不同的项目，主要围绕神经网络。当与詹姆斯·马腾斯合作的时候，我对这个领域的理解已经结束了。当时，贪婪的层次训练（每次训练一层）是非常受欢迎的。在Hessian-free优化器上工作帮助我理解，如果你只是训练一个非常大而深的神经网络上的很多数据，你几乎必然会成功。
退一步，当解决自然发生的机器学习问题，你使用一些模型。基本问题是你是否相信这个模型可以解决这个问题的一些参数的设置。如果答案是否定的，那么模型不会得到很好的结果，不管它的学习算法有多好。如果答案是肯定的，那么这只是获取数据并进行培训的问题。在某种意义上，这是一个主要问题。模型能否代表问题的良好解决方案？
有一个令人信服的论据，大，深的神经网络应该能够代表非常好的解决方案的感知问题。它是这样的：人类神经元是缓慢的，但人类可以非常快速和准确地解决感知问题。如果人类可以在一秒钟内解决有用的问题，那么你只需要非常少量的大规模并行步骤，以解决诸如视觉和语音识别等问题。这是一个老的争论 - 我看到了从80年代初的这篇文章。
这表明，如果你训练一个大的，深层的神经网络10或15层在像视觉的东西，那么你可以基本上解决它。受到这种信念的启发，我与Alex Krizhevsky一起工作来展示它。 Alex在GPU上编写了一个非常快速的2D卷积实现，当时很少有人知道如何编写GPU。我们能够训练比以往任何时候更大的神经网络，并获得比任何其他人更好的结果。
现在，大家都知道，如果你想解决一个问题，你只需要得到大量的数据和训练一个大的神经网络。你可能不会完美解决它，但你可以明确地解决它比你可能解决它没有深入的学习。
DB：不要轻视你的意思，但是你说在一个高度并行的系统上抛出大量数据，你基本上会找出你需要什么？
IS：是的，但是：虽然系统是高度并行的，但是它的顺序性质给你的力量。这是真的，我们使用并行系统，因为这是唯一的方法，使其快速和大。但是如果你想到什么深度代表 - 深度是顺序部分。
如果你看看我们的网络，你会看到，每年他们越来越深。对我来说，这些非常模糊，直观的论据证明对应于实际发生的事情是令人惊讶的。每年，最好的视觉网络比以前更深。现在我们有25层计算步骤，甚至更多，取决于你如何计数。
DB：在理论上，开放的问题是什么，使深度学习成功？
IS：巨大的开放性问题将是找出如何用更少的数据做更多的事情。如何使这个方法更少的数据需求？如何输入相同数量的数据，但更好地形成？
这与机器学习中最大的开放问题之一无关的学习。你甚至如何思考无人监督的学习？你如何从中受益？一旦我们的理解和无监督的学习进步，这是我们将获得新的想法，看到一个完全不可想象的新应用的爆炸。
DB：我们目前对无监督学习的理解是什么？你的看法如何限制？
IS：无监督的学习是神秘的。将其与监督学习进行比较。我们知道为什么监督学习工作。你有一个大模型，你使用大量的数据来定义成本 - 训练错误 - 你最小化。如果你有很多数据，你的训练错误将接近你的测试错误。最终，你得到一个低测试错误，这是你想从一开始。
但我甚至不能阐明我们想从无监督的学习是什么。你想要什么;你希望模型理解，无论什么意思。虽然我们目前对非监督学习的理解很少，但我也相信，解释是在我们的鼻子下。
DB：你知道人们正在探索的更有前途的途径，更深入地，概念性地理解为什么无监督学习能做到什么？
IS：有很多人尝试各种想法，主要涉及密度模型或生成模型。如果你问任何从业者如何解决一个特定的问题，他们会告诉你获得数据和应用监督学习。还没有一个重要的应用，其中无监督的学习产生深刻的影响。
DB：我们对成功的意义有什么意义吗？甚至粗略衡量无人监管模型的表现如何？
IS：无监督学习总是一些手段。在监督学习中，学习本身就是你所关心的。你有你的成本函数，你想要最小化。在无监督学习中，目标总是帮助一些其他任务，如分类或分类。例如，我可能要求计算机系统被动地观看许多YouTube视频（因此，在这里无监督学习），然后要求它以高精度识别对象（这是最后的监督学习任务）。
