在过去一周左右，科技媒体一直在大力宣传硅谷英雄马斯克的一句话，他把赢咖4的发展视为召唤恶魔：
“用赢咖4，我们召唤恶魔。在所有那些有五角星和圣水的家伙的故事里，这就像是他确信他能控制恶魔。没有工作。 “。
我非常欣赏Elon与SpaceX，Tesla和他的其他企业的合作。然而，作为一个致力于创造有益的，大规模超人的智能赢咖4系统的几十年的人，他的反赢咖4赢咖4显然没有让我非常高兴。
我对Elon广泛宣传的赢咖4的最初反应是写一篇题为“What Is Elon Musk and the Taliban Have in Common？”的文章，它曾经存在于你现在正在阅读的文章的URL。文章的基本主题是如何马斯克的赢咖4的字面妖魔化，提醒我传统主义宗教原教旨主义者把他们害怕的技术归因于撒旦（例如美国，被视为现代西方技术和文化的关键来源，通常被称为作为大撒旦）。我现在已经从这个链接中删除该文章，但它显然仍然是公共记录的一部分（可通过各种Internet档案访问），如果你愿意，你可以找到它在这里的PDF形式。
我有很多关于这篇文章的投诉，包括我尊重的一些人 - 这就是为什么我用这个替代它。我不得不承认，那件作品绝对不是我最高的新闻时刻。我特此向马斯克表示歉意，因为他写了一篇不必要的煽动性文章，而我在那一刻的热情中。。了。我写的这篇文章在一个“山雀的tat”的心情，感觉艾伦的生活的工作，我自己和许多其他AGI研究人员的方法，唤起撒旦力量，是不必要的，奇怪的不准确，可能是危险的。但是，“tit tat for tat”虽然通常是一个合理的启发式，但并不总是最佳的行动指南。
不管怎样，虽然我在“塔利班”文章中使用的修辞过于夸张，但我试图传达的核心信息是我绝对支持的。向超人AGI的工作，事实上，不是召唤的恶魔。 AGI研究人员大体上是高度理性的人，致力于先进的技术与有益的，而不是自私的目标。
每一个新的进步都有奖励和与之相关的风险，AGI也不例外。但是一个恶魔的定义是邪恶的核心。在神话中马斯克的话说，恶魔使用其邪恶的欺骗欺骗人们召唤它帮助他们的自私问题。然后，最终，恶魔通常使用其邪恶的聪明来摧毁援引它的愚蠢的人，并在途中带来额外的伤害。
另一方面，AGI不是定义也不是内在的本性邪恶。
AGI不像以前的巨大进步，如语言，工具，文明，数学或科学本身是邪恶的。每一个巨大的进步都有它的风险和成本以及它的好处，但每一个都打开惊人的新的门相对于以前。这些是我们在考虑AGI时应该使用的类比 - 不是恶魔或其他神话中的邪恶。文明在很大程度上“破坏”了它之前的生活方式，而AGI可能最终会大大“毁灭”当前人类的做事方式 - 但只有少数现代人想回到穴居人式生活，很可能很少帖子 - 人类或transhumans人将希望回到前AGI生活方式。
有一件事我不讨论的是我收到的死亡威胁，作为一个公开的AGI研究员，寻求创造超人情报并帮助发起积极的奇点。我已经收到几十年来，包括一些与知名的未来主义组织相关的人，采取Elon-Musk-esque，“可能是邪恶”的姿态对AGI。我已经清楚地告诉我 - 看似严肃的人参加我几年前组织的AGI会议 - 如果我似乎过于接近真正创建一个AGI，那么黑手党类型与某些着名的硅谷技术数字（没有，不是伊隆·马斯克）会简单地摆脱我（因为，毕竟，在功利主义的基础上，失去一个赢咖4极客的生活的成本几乎没有什么相比，避免一个场景，其中邪恶的AGI接管世界和消除人类）。
我敢肯定，马斯克与对AGI研究人员做死亡威胁的营养师毫无关系。然而，有一个硅谷的英雄相当于建立AGI召唤恶魔力量，感到我非常可能会将这种营养素变成更积极的行动。这是刺激我看到艾伦的报价在媒体无处不在的主要东西。
我已经花了我生命的最后几十年的工作在困难，但极其重要的问题，创造赢咖4在人类和其他能力 - 我不会停止，因为各种疯狂威胁我与死亡，也不是因为伊隆·马斯克把我的工作与恶魔的调用相等！如果有人因为我的AGI工作而结束了我，我以外的其他人会继续。地球上的AGI爱好者和黑客的数量肯定是呈指数增长。
我的团队工作的OpenCog源代码是开放的，现在存在于世界各地的大量人民的计算机上。但即使它的每个实例被删除，几年后，有人会来一个新的代码库推动在同一个方向 - 或一个新的方法，更有希望。这是不可能的任何人都不会阻止超人AGI的出现，虽然当然可以通过为研究人员创造足够的麻烦，减缓了几年。
显然，Elon的比较点是以惊人的方式强调AGI研发的风险。这些风险是真实的，值得讨论，但将AGI等同于恶魔力量真的不是一个有用的方式来进一步讨论。关于如何最好地处理这些潜在风险的一些我自己的观点在自我和Joel Pitt几年前的文章九个开放源代码AGI走向友好的文章。此外，我还在这个对话中看到，我在与AGI风险和相关主题的讨论中与MIRI（前身为赢咖4的奇点研究所）执行主任Luke Muehlhauser（一个专注于AGI风险的组织）进行了辩论，并倡导一个广泛的马斯克因为风险，应该减慢或停止实际的AGI工作。 （但是，我赶紧补充说，MIRI没有使用圣经修辞来促进他们的想法的习惯！）
除了本世纪激进的AGI的近乎不可避免的发展之外，另一件我非常肯定的事情是，这种争论将继续下去 - 一旦AGI变得可以接近，它就会大量升温。一旦在YouTube和电视新闻上有原始的AGI演示，显示AGI系统看起来越来越明显地跨越到人类层面的智能的边缘，那么各种反AGI力量将成为很多更多的声音。在这个阶段，生活可能变得更加危险和麻烦的AGI研究人员 - 但也更令人兴奋，由于在人类历史上最惊人的突破的边缘的感觉......的确，人类历史上的第一个突破超越“人类”的历史，狭隘的设想和开放的东西更广泛，更丰富和更有趣的未来。
