想像。你已经工作了几十年，受益于计算的进步。现代电子表格，互联网搜索引擎，协作在线百科全书，模式识别系统，动态3D地图，即时语言翻译工具，推荐引擎，沉浸式视频通信等近似奇迹一直在稳步使你更聪明，并提高你的有效性。您期望继续将您的本地生物智能与技术创造“合并”。但是...砰！
突然，比我们预期的更快，一种新的赢咖4正在压缩我们，像一个巨大的城际列车以每小时几百公里的速度前进。这是你可以轻松地跳上去，并纳入我们自己的进化吗？小心站在这列火车的前面，伸出你的拇指，试图搭乘电梯？
这个图像来自Jaan Tallinn使用的一组深厚的幻灯片，Kazaa背后的程序员和Skype的创始工程师之一。 Jaan上个月在人道+英国活动上发表演讲，评论了“超越男人”这部电影 - 导演Barry Ptolemy对连续发明家和激进未来主义者Ray Kurzweil的想法和项目所制作的电影。你可以在blip.tv上找到Jaan的幻灯片的视频，以及所有五位小组成员在KoanPhilosopher的YouTube频道上的视频（但音频较弱）。
Jaan评论了一个在Kurzweil电影中一再表达的观点 - 人类和计算机/赢咖4将能够融合成某种混合的“后人”的观点。
这个“合并”观点有很多景点：
1.它建立在我们与技术产品长期共存的观察基础上，如服装，珠宝，手表，眼镜，心脏起搏器，人工髋关节，人工耳蜗等
2.它提供了一个令人放心的答案，认为计算机将有一天比（未修改的）人类更聪明，赢咖4将比（未修改的）人类更强大。
但是这种合并预先假设AI算法的改进速度将保持足够慢，以至于人类可以继续负责。简而言之，它预先假定人们称之为超级AI的“软起飞”，而不是突然的“硬起飞”。在他的演讲中，Jaan提出了三个支持可能的硬起飞的论点。
第一个参数是计数器的计数器。由奇异性概念的各种批评者所提出的反论据是Kurzweil关于超AI的出现的观点取决于技术进步的指数曲线的延续。因为很少有人认为这些指数曲线真的会无限期地持续下去，整个论点是可疑的。计数器的计数器是超AI的出现不对进展曲线的形状做出假设。它只取决于技术最终达到一个特定的点 - 即，在编写软件时计算机比人类更好的点。一旦发生这种情况，所有投注都会关闭。
第二个参数是，获得正确的算法可以产生巨大的差异。计算机性能不仅仅取决于改进的硬件。同样，它可以在很大程度上依赖于找到正确的算法。有时候，正确的算法的出现使世界惊讶。在这里，Jaan举了数学家安德鲁·威尔斯（Andrew Wiles）在1993年发表的一个无法预见的公告的例子，证明了几百年来费马的最后定理。安德鲁·威尔斯为费马的最后一个定理的可怕问题做了什么，另一个研究者可能为超人AI的更可怕的问题做。
第三个论点是，AI研究人员已经坐在可以称为巨大的“硬件悬挂”的地方。
正如Jaan所说：
重要的是要注意，每年的AI算法仍然没有解决，硬件迈向摩尔定律的跳动 - 创建一个巨大的硬件悬而未决。第一个AI很可能发现自己在一台计算机上运行，比人类智能所需的速度快几个数量级。更不要说，它会找到一个互联网价值的电脑接管和修改为其目的。
想像。到目前为止，最糟糕的恶意软件 - 利用了安全漏洞，其他软件缺陷和社会工程的组合。多快可以在互联网上传播。现在想象一个恶意软件的作者是更智能的100倍。人类用户会发现自己几乎无法抵抗点击诱人的链接，并且不想提供密码到屏幕看起来与他们一半期望看到的相同。庞大的计算资源将迅速变为可用于快速发展，强烈自我完善的算法。它将是所有僵尸网络的母亲，无情地追求软件产生的（可能是未预见的）逻辑结论。
好的，所以硬起飞的风险很难估计。在H +英国会议上，小组成员都对他们对未来的预测表现出很大的不确定性。但这不是不作为的原因。如果我们认为在未来20年里超级AI硬起飞的风险只有5％，那还是值得我们深思。 （如果你被告知飞机从天上掉下来的风险是5％，你会上飞机吗？）
我将结束另一个潜在的比较，我之前写过。这是另一个例子，低估了突破性新技术的影响。
1954年3月1日，美国军队在马绍尔群岛的比基尼环礁进行了第一次干燃料氢弹的试验。爆炸产量预计为4至6兆。但是当设备爆炸时，产量为15 Megatons，是预期最大值的2.5倍。正如维基百科关于这次测试爆炸的文章所解释的：
高产量的原因是在Los Alamos国家实验室的设备的设计者所做的实验室错误。他们认为只有氘代锂中的锂-6同位素是反应性的;锂-7同位素（占锂含量的60％）被认为是惰性的...
与预期相反，当锂-7同位素被高能中子轰击时，它吸收中子，然后分解形成α粒子，另一个中子和氚核。这意味着比预期产生更多的氚，并且与氘融合的额外氚（以及来自锂-7分解的额外中子）产生比预期更多的中子，导致铀篡改的更多裂变，从而增加产量。
这种所得的额外燃料（锂-6和锂-7）极大地促进了聚变反应和中子产生，并且以这种方式大大增加了装置的爆炸性输出。
可悲的是，这种计算误差导致比预期更多的放射性落下。附近日本渔船上的许多船员，幸运之龙5号，在与灰尘直接接触后变得生病。其中一名船员后来死于疾病 - 第一个人类受伤的热核武器。
假设计算中的误差明显更差 - 可能是千位数，而不是2.5倍。这似乎不太可能，但是当我们处理强大的未知数时，我们不能排除强大的不可预见的后果。例如，想象一下，如果极端的人类活动以某种方式干扰了管理超级火山的不完全理解的机制 - 例如在73,000年前在多巴湖（印度尼西亚苏门答腊）爆发的，并且认为当时世界人口减少的机制可能只有几千人。
事情变化越快，预见和监测所有后果就越困难。我们的技术变得越强大，意想不到的后果变得越剧烈。合并还是火车？我相信结果仍然是开放的。
