作为我们正在进行的一系列访谈调查机器，分布式计算和离散应用数学。
关键因素
•神经网络已经复苏，并在机器学习的新方法中发挥越来越大的作用。
•最大的成功是通过利用已有算法的监督方法实现的。
•Spark是一种特别适合分布式机器学习的环境。
David Beyer：告诉我们你在斯坦福的工作
Reza Zadeh：在斯坦福大学，我设计和教授分布式算法和优化（CME 323）以及一门称为离散数学和算法（CME 305）的课程。在离散数学课程中，我从完全理论的角度教授算法，这意味着它不依赖于任何语言或框架，我们用许多定理和他们的证明填充白板。
在更实际的一面，在分布式算法类中，我们使用Spark集群编程环境。我花了至少一半的时间在Spark。因此，我在分布式算法和机器学习方面教授的所有理论都是由Spark实现和制定的，然后由数千个使用商品集群的行业和学术人员掌握。
我在2006年开始在Google上开始运行MapReduce作业，之前Hadoop真正受欢迎或甚至已知;但MapReduce已经在Google成熟。我当时是18岁，甚至我可以清楚地看到，这是世界上需要的Google以外的东西。所以我花了很多时间在MapReduce之上构建和思考算法，并且总是努力保持最新，离开Google后很久。当Spark出现时，很好，它是开源的，可以看到它的内部，并有助于它。我觉得这是正确的时间跳板，因为RDD的想法是大部分分布式计算的正确的抽象。
DB：从你在Google的时间到你目前使用Spark的工作，你已经有机会看到机器学习与分布式计算有关的一些演变。你能描述一下进化吗？
RZ：机器学习已经经历了从90年代中期开始的几个过渡期。从1995年到2005年，有很多关注自然语言，搜索和信息检索。机器学习工具比我们今天使用的更简单;它们包括诸如逻辑回归，SVM（支持向量机），具有SVM的内核和PageRank之类的东西。 Google使用这些技术取得了巨大的成功，使用易于分发的排名和文本分类算法，使用已经在90年代中期已经成熟的技术，构建了Google新闻和Gmail垃圾邮件分类器等主要成功案例。
然后在2005年左右神经网络开始回归。神经网络是一种来自80年代的技术 - 有些人甚至可以追溯到60年代 - 由于他们最近在计算机视觉方面取得的重要进展，他们已经变成“回复”。计算机视觉使得（卷积）神经网络的高效利用。由于这一事实已经变得更加确定，神经网络正在进入其他赢咖4平台，爬行到自然语言处理和机器翻译等领域。
但是有一个问题：神经网络可能是所有上述分发模型中最具挑战性的。那些早期的模型都已经成功地分发了他们的训练。我们可以使用100台机器，并训练一个逻辑回归或SVM没有太多的麻烦。但是开发分布式神经网络学习设置更加困难。
所以猜测谁成功了？目前唯一的组织是Google;他们是先驱，再次。这非常像2005年谷歌发布MapReduce论文时的情景，大家纷纷建立相同的基础设施。谷歌设法分布神经网络，获得更多的轰动他们的优势，现在每个人都希望他们在相同的情况。但他们不是。
DB：为什么SVM或逻辑回归比神经网络更容易分布？
RZ：首先，评估SVM是容易得多。在学习了SVM模型或逻辑回归模型或任何线性模型之后，实际评估非常快。假设您构建了垃圾邮件分类器。一封新的电子邮件;以将其分类为垃圾邮件或不需要很少的时间，因为它只是一个点积（在线性代数术语中）。当涉及到一个神经网络，你必须做更多的计算 - 即使你已经学习了模型 - 弄清楚模型的输出。这甚至不是最大的问题。典型的SVM可能只有一百万个参数，但最小的成功的神经网络我见过有大约600万 - 这是绝对最小的。另一个问题是训练算法没有受益于大量的优化理论。我们使用的大多数线性模型在训练完成时具有数学保证。他们可以保证什么时候找到你会找到的最好的模型。但是存在于神经网络的优化算法不提供这样的保证。你不知道你训练了一个神经网络后，给定你的设置，这是你可以找到的最好的模型。所以你留下来想知道如果你继续训练你会有一个更好的模型。
DB：随着神经网络变得越来越强大，你会看到他们越来越多地包括线性方法的面包和黄油的工作？
RZ：我想是的，是的。事实上，现在发生了。总是有这个问题，线性模型只能线性判别。为了得到非线性，你必须添加或更改要素，这涉及很多工作。例如，计算机视觉科学家花了十年来开发和调整这些称为SIFT特征的东西，这使得能够使用线性方法进行图像分类和其他视觉任务。但随后神经网络出现，SIFT功能变得不必要;神经网络方法是使特征自动作为训练的一部分。
但我认为这是要求太多的说神经网络可以取代所有的功能构造技术。我不认为会发生。总是有一个线性模型和良好的人力驱动特征工程的地方。尽管如此，几乎任何参加NIPS会议的研究人员都开始评估神经网络的应用。每个人都在测试他们的应用是否可以受益于神经网络带来的非线性。
这不是我们从来没有非线性模型。我们有他们 - 许多。这只是神经网络模型恰恰是特别强大。它真的可以工作在一些赢咖4平台，所以值得尝试。这是很多人在做的。当他们看到成功，他们写论文。到目前为止，我已经看到在语音识别，计算机视觉和机器翻译方面的成功。这是一个非常广泛的困难任务，所以有很好的理由兴奋。
DB：为什么神经网络比传统的线性和非线性方法那么强大到现在为止？
