作为我们正在对机器智能前沿进行系列采访调查的一部分，我最近采访了位于奥斯汀的德克萨斯大学计算机科学和神经科学教授Risto Miikkulainen，以及Sentient Technologies公司的研究员。
Miikkulainen的工作重点是 生物启发计算，如神经网络和遗传算法。
Miikkulainen的工作重点是 生物启发计算，如神经网络和遗传算法。
主要内容：
1.进化计算是应用于优化适应度函数的强化学习的一种形式。
2.其应用包括赢咖4，软件代理，设计和网络商务。
3.它能够开发真正新颖的解决方案。
David Beyer：为什么我们不从你的背景开始，以及你如何达到目前的角色。
Risto Miikkulainen：我完成了我的博士学位。 1990年在加州大学洛杉矶分校计算机科学系。之后，我成为德克萨斯大学奥斯汀分校计算机科学系的教授。我的论文和早期的工作重点是建立认知科学的神经网络模型 - 特别是语言处理和记忆。这项工作在我的职业生涯中一直持续。我最近打扫了这些模型，以推动理解认知功能障碍，如精神分裂症和失语症的双语。
神经网络，因为他们涉及认知科学和工程，一直是我的职业生涯的一个主要焦点。除了认知科学，我花了很多时间在计算神经科学工作。
最近，我的团队和我一直专注于neuroevolution;即，使用进化计算来优化神经网络。我们发现神经演进研究涉及与认知科学相同的挑战 - 例如记忆，学习，沟通等。事实上，这些领域真的开始聚在一起。
DB：你能给出一些关于进化计算如何工作以及如何与深度学习相交的背景知识吗？
RM：深度学习是一种神经网络的监督学习方法。大多数工作涉及受监管的应用，其中您已经知道您想要什么 - 例如，天气预报，股票市场预测，驾驶汽车时的某种行动的结果。在这些情况下，您将学习该数据的非线性统计模型，然后您可以在未来的情况下重复使用。这种方法的另一面是无监督的学习，你学习数据的结构，什么样的集群，什么东西是类似的其他东西。这些努力可以为神经网络提供有用的内部表示。
第三种方法被称为“强化学习”。假设你正在开车或玩游戏：很难定义最佳动作，并且没有收到太多的反馈。换句话说，你可以玩整个棋盘游戏，到最后，你赢了或失去了。你知道，如果你失去了，你可能做出了一些不好的选择。但是呢？或者，如果你赢了，哪些是精心选择的行动？总而言之，这是一个强化学习问题。
换句话说，在这个范例中，你定期收到反馈。此外，这种反馈只会告知您在没有反过来列出您采取的最佳步骤或操作的情况下的效果。相反，你必须通过探索发现这些行动 - 测试各种方法和衡量他们的表现。
进入进化计算，这可以作为一种解决强化学习问题的方式。也就是说，存在一些适应度函数，并且你专注于开发一个优化该函数的解决方案。
然而，在许多情况下，在现实世界中，你没有一个完整的状态描述 - 在任何给定时刻对实地的事实的完整会计。换句话说，你不知道你的周围环境的完整背景。为了说明这个问题，假设你在一个迷宫。许多走廊看起来都一样。如果你试图学习关联每个动作/状态对的值，并且你不知道你是什么状态，你不能学习。这是强化学习方法的主要挑战，它们在每个国家的每个行动中学习这些效用值。
另一方面，进化计算可以非常有效地解决这些问题。在这种方法中，我们使用进化来构建神经网络，然后获取状态表示，但是噪声或不完整，并且建议最有可能是有益的，正确的或有效的动作。它不需要学习每个状态中每个动作的值。它总是有一个完整的政策，做什么 - 演变只是简化这种政策。例如，它可能首先说，总是左转弯，避开墙，然后逐渐向其他行动演变。此外，网络可以是循环的，并且因此记住它如何“到达”该走廊，这消除了状态与看起来相同的其他状态的歧义。神经演化可以更好地处理部分状态隐藏的问题，如在许多现实世界问题中的情况。
DB：进化计算如何从生物学中借用，以及如何推动潜在深化隐喻？
RM：有些机器学习包括纯粹的统计学或者是基于数学的，但是在进化计算中，在神经网络和强化学习中的一些灵感实际上是从生物学中衍生出来的。对你的问题，它的确最好理解为一个比喻;我们不是系统地复制我们在生物领域中观察到的。也就是说，尽管这些算法中的一些是由遗传进化启发的，但它们还没有包括基因表达，表观遗传影响以及生物体与其环境的微妙相互作用的压倒性复杂性。
相反，我们采取使计算有意义的生物过程的各个方面，并将它们转化为一个程序。这项工作的驱动设计，以及生物进化的管理原则，可以理解为变异的选择。
在高水平上，它与生物故事非常相似。我们从一个人口开始，我们从中选择重现最多的成员，并通过选择性压力，产生一个更可能比以前更好的新人口。同时，研究人员正在努力将越来越多的生物复杂性纳入这些模型中。在这方面仍有许多工作要做。
DB：这项工作的一些应用是什么？
RM：进化算法已经存在了相当一段时间，确实自从70年代。以工程应用为中心的大部分工作 - 例如，试图通过各种优化方法构建更好的电网，天线和赢咖4控制器。让我们真正兴奋的领域是许多情况下，进化不仅优化你知道的东西，而是进一步，产生新颖和令人惊讶的解决方案。
