在机器学习中，通过假设平均情况性能而不是最坏情况，我们可以通过平均大数据集上的误差来设计预测算法。我们希望对数据波动稳健，但只有平均。这比控制中的最坏情况限制小得多
DB：这回到你早些时候关于平均vs最坏/最好的情况。
BR：没错。这是一个巨大的交易。我们不想完全依赖最坏情况分析，因为这不会反映我们的现实。另一方面，在我们的预测中至少有更多的鲁棒性，以及对数据如何变化以及我们的数据如何变化的了解有一点了解。
我的合作者和我已经能够利用随机性的一个例子是在随机梯度下降（SGD）的研究。 SGD可能是机器学习中最流行的算法，是我们如何训练神经网络的基础。 Feng Niu，Chris Re，Stephen Wright和我能够通过利用随机性来并行化这个算法。当时的研究生冯正正在尝试一些策略来平行新元。出于失望，他在他的并行中关闭了锁。对我们所有的惊喜，它只是工作更好。它工作了很多更好。基本上，我们开始得到线性加速。
在试图解释这种现象，我们正式化的东西叫“HOGWILD！ - 一种无锁的方法来平行随机梯度下降。在最坏的情况下，HOGWILD！方法会降低性能。但是因为错误是随机的，你在实践中得到戏剧性的加速。人们接受了这个想法，并开始实施它。对于许多最先进的深度学习模型，HOGWILD！成为一种转向技术。
DB：所以，控制理论是基于模型的，关注最坏的情况。机器学习是基于数据并关注平均情况。有中间地带吗？
BR：我想有！我认为这里有一个令人兴奋的机会来了解如何结合强大的控制和强化学习。能够从单独的数据构建系统简化了工程过程，并且已经获得了几个最近的有希望的结果。保证这些系统不会灾难性地发生，将使我们能够在对我们的生活产生重大影响的各种应用中实际部署机器学习系统。它可以实现能够驾驶复杂地形的安全自主车辆。或者可以帮助我们在医疗保健的诊断和治疗。有很多令人兴奋的可能性，这就是为什么我很兴奋如何找到这两个观点之间的桥梁。
