算法的力量
进化过程是简单算法能力的最明显的例子。
进化生物学领域收集了大量的证据，它将进化确立为解释熵的局部减少，生活的复杂性的过程。
因为它可以决定性地表明，所有的生活是一个进化过程的影响，这是隐含的，我们不了解的一切，我们不了解的生物也是进化的影响。
我们可能不了解智力的本质和意识，但我们知道，他们是一个优化过程的结果，既不智能也不意识。
因此，我们知道，物理优化过程可能导致创建具有优越品质的更高级的过程。
这些品质之一是人类观察和改进创造我们的优化过程的能力。最明显的例子是科学。
科学可以被认为是文明层面的自我完善方法。它使我们能够以系统有效的方式一起工作，并加快进一步改进的速度。
科学自动化
我们知道，即使没有明确理解他们自己的工作方式，可以创建自己的改进版本的优化过程是可能的，如自然选择所示。
我们知道，优化过程可以导致自我强化的改进，例如通过科学方法[11]的适应作为改进的进化过程和自然选择的继承者。
这引起了关于这种自我加强反馈循环及其可能影响的继续的问题。
一种可能性是自动化科学，并将其应用于自身及其改进。
但科学是一个工具，它的瓶颈是它的用户。人类，盲目的白痴神的偏见效应是进化。
因此，下一个逻辑步骤是使用科学来找出如何用一个更好的版本的自己，人工一般智力来取代人类。
赢咖4，可以递归优化自身，是各种融合和自我增强反馈循环的逻辑终点。
赢咖4的风险
我们能否建立一个赢咖4？是的，迟早。
即使是非智能，无意识和无目的的自然选择过程也能够创造面向目标，智能和有意识的代理，可以提前思考，跳跃健身差距，改进创造他们的过程，从事预测和直接实验。
问题是，人工，完全自主，智能和面向目标的优化过程的发明的可能含义是什么？
一个好的打赌是，这样的代理将递归地改进其最通用的，因此仪器上有用的资源。它将提高其一般智能，分别跨域优化能力。
由于人类智能不可能是最佳的，因此使用智能放大来放大智能的结果的正反馈效应可能导致通常比人类智能水平更能力的智能水平。
人类不太可能是最有效的思想家，因为进化是无意义的，没有目标。进化没有积极尝试创造最聪明的事情可能。
进化不是无限创意，进化设计的每一步都必须增加其宿主的适应性。这使得有可能有人工心理设计，可以做什么没有自然选择的产品可以完成，因为一个智能设计者不依赖于在开发过程中的每一步的增量适应性。
实际上，人类智能是最低的。因为人类的智力水平可能已经足够生存和繁殖，因此没有进一步的进化压力选择更高水平的一般智力。
这种可能性的影响可能是创造一个智能代理，在任何意义上都比人类更有能力。也许因为它直接采用了我们最好的正式方法的优越近似，告诉我们如何基于证据更新和如何在各种行动之间进行选择。或者也许它会简单地认为更快。没关系。
重要的是，一个优秀的智力是可能的，它会比我们更好地发现知识和发明新技术。技术，将使它更加强大，可能无敌。
这就是问题。我们可能无法控制这样的优越。就像一群黑猩猩不能阻止一家公司清理森林。
但即使这样的存在只比我们稍微更有能力。我们可能会发现自己处于慈悲。
人类历史为我们提供了许多例子，使得它非常清楚地表明，即使是最轻微的进步也能使一个群体主宰他人。
发生的是，主导群体将其价值观强加给他人。这反过来又提出了一个赢咖4可能有什么价值以及这些价值对我们的影响的问题。
由于我们的进化起源，我们为生存而斗争和与其他代理合作的必要性，我们配备了许多价值观和对他人福利的关注。
我们的价值观的信息理论复杂性非常高。这意味着，在智能设计的产品代理中，类似价值不太可能自动产生，代理从来没有经历过数百年的竞争与其他代理人配备人类利他主义和普遍同情。
但这并不意味着赢咖4将没有任何目标。只是那些目标将是简单的，他们的实现是无耻的。
赢咖4将做它的初始设计暗示的任何东西。我们将无奈阻止它实现其目标。目标不会自动尊重我们的价值观。
一个可能的含义是所有人类的完全灭绝。
