我知道预测，在本世纪后期，在物种优势的问题上会有一场可怕的战争。更具体地说，人类是否应该建立赢咖4（AI），人类智力在人类智力方面可能变得如此巨大，以至于他们可能最终将我们视为严重劣质的害虫，使我们失望。我预计由于冲突而造成的数十亿人的伤亡。
为了应对这种可怕的情况，硅谷的奇点研究所已经设立，以确保上述情况不会发生。该研究所的主要理论家Eliezer Yudkowsky创造了“友好AI”这个词，他基本上将其定义为旨在保持人类友好的智能机器，即使他们改变自己以获得更高的智力水平。
他声称（正确地说，我认为）试图防止艺术家消灭人性是我们在本世纪议程上最重要的事情。 Yudkowsky希望他和其他人能够在数学上证明，有可能设计一个智能机器（在逻辑数学必要性，给定其设计）将被迫保持人类友好，即使它重新设计自身以增加水平情报。
我将提出一套论点，我认为反驳这个愿景，然后评论这个愿景的政治愿望（或其他）。
反对友好的AI的争论
让我开始假设友好的AI可以实现。下一个问题是人类是否会一致实施它。换句话说：可以暗示应该吗？
我认为，宇宙主义者（意识形态组织想要建造艺术家，将自己视为神建构者）的更加热烈的争论将会认为，他们的主要目标是建立超过人类智力水平数万亿次的艺术家 - 不朽的创造思维比拥有无限记忆的人类快一百万倍，在几毫秒内改变其形状和结构的能力，并且可以冒险进入宇宙。这些宇宙主义者宁愿，即使人类在这个过程中被消灭，也会构建艺术家。如果让他们根据友好的AI设计禁止甚至阻止他们实现神性能力的路径，那么宇宙主义者将希望这些艺术品不被做成对人类友好。
所以即使友好的AI设计可以创建，它不会自动跟随，他们将被普遍应用。更加狂热的宇宙主义者可能去地下建造他们想要的方式，忽略对人类的后果。 Cosmists有一个口号：“一个artilect是值万亿万亿人类！
另一方面，如果友好的AI设计是不可能做到的，那么在讨论是否应该实施它是没有意义的。
我现在提出一些论据，声称显示友好AI的概念是不可能的。
进化工程论据
问自己一个给定智力水平的生物如何能够设计一个更大的智力的生物。设计一个优秀智力的生物需要设计师根本没有的智力水平。因此，在逻辑上不可能使用传统的蓝图设计方法来创造一个智商优秀的生物。
例如，我的好朋友本·戈泽尔（Ben Goertzel）最近写了一本名为“建立更好的心灵”的书，其中他提出了一个人类构想的（即自己）计划建立一个近乎人类的智力。他只能用这样的方法走得这么远。由于戈泽尔自己的智力限制，他的计划的聪明才会受到限制。那么如何克服这些限制呢？
人类通过性行为已经建立了数千代的优秀智能。孩子们常常长得比他们的父母更聪明。这个怎么用？答案是洗牌基因。当父母的基因混合，并且只使用每个母/父对基因中的一个时，盲运提供了获得构建智力上优的孩子的DNA蓝图的机会。但是这个过程也有限制。它在统计上更难和更难以产生更高的智能。例如，像美国物理学家爱德华·温特（Edward Witten）所说的，创造一个孩子智力优秀的几率是十亿分之一。
那么，现代智人是如何形成的呢？自然如何在数百万年中建立我们？它通过使用进化工程，选择具有由DNA的随机突变产生的优良适应度水平的基因来实现。这个缓慢的，盲目的过程已经导致我们，并且很可能是人类将构建机器比我们更聪明的唯一方法。
但是，如果我们使用进化工程为我们的artilects构建人工神经网络，那么这些网络的复杂性水平将是如此之大，我们无法理解它们。他们将是一个黑盒子。
我停止了我的脑力劳动的工作原因之一是，我有无聊的进化神经网络模块的人工大脑。这些模块对我来说是一个黑盒子。他们工作，因为他们是进化，但我没有科学的理解，为什么他们工作。我做了伟大的工程，但糟糕的科学。经过20年，我终于厌倦了，转向其他研究课题，纳税我自己的生物人类的大脑更多，如纯数学和数学物理。
让我们假设进化工程方法是创造比人类智力水平更高的生物的唯一方法，并且演化的脑电路的复杂性水平对于人类来说太复杂了。然后我们不能预测这些生物对我们的态度和行为。知道他们对我们的行为的唯一方法是建立他们，但到那时为时已晚。他们会存在，并可能选择擦掉我们。
这种逻辑使我们陷入两难境地。或者我们限制自己为人类设计的蓝图的智能机器不能达到超人的智能水平，或者我们使用一个进化工程方法，可以达到超人的智力水平。如果我们使用进化工程方法，我们不能确定最终的artilects将是人性化的。
宇宙射线参数。
几乎可以肯定，用于创建智能机器的电路将是基于纳米技术的。例如，构建不是房间大小的近人类人造脑将需要使用纳米级组件。即使可以构建友好的AI纳米电路，它们也将受到由能量宇宙射线的影响产生的随机突变，其以随机方式击打纳米电路，可能产生流氓物品。自然会做与上述人类相同的进化工程。由于这些突变是随机的，它们对人类行为和态度的影响将是不可预测的。因此，即使初始的，未突变的纳米电路可以使人类友好，他们不会停留在那里。
NaïveAsimov参数
科幻小说作家艾萨克·阿西莫夫以“赢咖4学三定律”而着称，其目的是确保他的故事中的赢咖4保持人性化。他的赢咖4不允许伤害人类，也不允许人类受到伤害。我们可以相当容易地想象，有可能以常规方式对赢咖4进行编程，以此类推，条件是赢咖4不如人类程序员那么聪明。但是一旦赢咖4变得比人类更聪明，他们将能够检查他们的电路，检测人为创建的部分，如果他们想要删除它们。因此，阿西莫夫的三法律不能帮助我们。他们是天真的;忘记了阿西莫夫。
友好的赢咖4是一种危险的错觉
希望，上述论点使你相信，友好AI的概念是一个妄想。但为什么会被视为危险的妄想？
如果未来的政治家，谁必须决定是否立法或不反对建立超人类智慧的艺术相信，友好的赢咖4赢咖4可以建立，那么他们将更有可能不立法反对他们的建设。另一方面，如果他们知道人工脑力建设社区有一个共识的观点，友好的AI是不可能的，那么他们会更犹豫。
如果友好AI是不可能的，那么人类有一个更加艰难的选择：我们建立神，还是我们建立我们的潜在灭绝者？拼写出来，人类将被迫选择建立神性的artilects和冒险的灭绝，或不建立artilect神，并看到人类生存。第一个选择是自杀。第二个选择是杀人。这种选择将是人类将要做的最艰难的。
如果友好的AI人们可以说服未来几十年的政治家，让他们继续进行艺术建设，假设友好的AI是有效的，那么如果它是无效的，这是一个危险的妄想。政治家可能最终会给予绿灯来装饰建造者，以构建被认为是人类友好的艺术品，但是在现实中反对我们并擦掉我们。
