如马斯克警告我们，人类赢咖4是可能比nukes和马斯克更危险：赢咖4可能比nukes更危险。 哇！ 现在，通常我是Musk先生的创作者，以及他和他的团队在特斯拉和SpaceX所完成的许多惊人的事情。 但我不得不说，我非常不同意马斯克先生关于赢咖4的危险。 首先，赢咖4不是现在也不会是“比危机更危险”。 第二，也许更重要的是，限制赢咖4研究本身是危险的。 让我解释。
马斯克究竟是什么？
这一系列的文章都是由Musk发布到他的Twitter帐户的几个tweets生成的。我已经包括他们下面。
值得阅读由Bostrom的超级智慧。我们需要超级仔细的赢咖4。可能比nukes更危险。 - 马斯克（@elonmusk）2014年8月3日
关于赢咖4风险，我们的最终发明@jrbarrat也值得一读 - 马斯克（@elonmusk）2014年8月3日
希望我们不只是生物启动加载程序的数字超级智能。不幸的是，这是越来越可能的 - 马斯克（@elonmusk）2014年8月3日
他在这里有点模糊，不足为奇，因为我们正在谈论几个tweets，但让我们检查细节。
“Nukes”怎么危险？
马斯克先生的确切说法是，赢咖4是“可能比核武器更危险”，但核武器究竟有多危险？简单地说，核武器是极其危险的，对人类和地球上所有生命形式构成了存在的威胁。所以要比“nukes”更危险，赢咖4必须真的很危险。只有两个核武器在战争中使用，他们一起杀死了大约25万人，并摧毁了两个城市。然而，早期核装置的测试和制造本身是危险的，并且整个群体都暴露于辐射。许多使用早期装置和材料的科学家也暴露于辐射。由于核装置试验和制造造成的辐射暴露造成的死亡总数不清楚，但全世界估计有2万人由于核试验而死于癌症，这将不是不合理的，而且可能相当低。然而，目前的核武库在数千枚弹头和装置中的数量也比第一装置更强大和破坏性。
即使我们只考虑活跃的核弹头，目前世界上有大约3000个活跃的核装置。上表应该清楚地表明，这是一个非常保守的设备数量的估计，即美国有1,920个活动弹头，但总计7,315。俄罗斯有1,600台有源设备。根据一个估计，只有300台这些设备用于对美国，它会导致9000万人在30分钟内的伤亡。美国对俄罗斯的打击预计在范围上类似。现在我们不知道Musk在谈论什么时候说“nukes”，因为这是一个相当不精确的术语。再次他只是在这里快速tweeting，这是预期。但是，由于他使用复数，我认为他不意味着只有一个核设备。全面的核交换，全球热核战争，预计将在第一小时内杀死至少2亿人。这是一个高度保守的估计，更多的人会在数小时或数天内死于辐射，饥饿和其他原因。似乎可以想象，接近10亿人可能会在24小时内死亡，具体取决于具体细节。下面的地图给你一些有限的核攻击对美国的影响的一个想法，导致失落指示最黑暗被认为是致命的和最不危险的撤出区域是黄色的。 （从FEMA估计的苏联ICBM的大约1990年的初级反作用力目标）。
这不包括第二次或随后的核打击。如果这种交换发生，美国和俄罗斯都有能力和战略发动第二次攻击。
由于辐射造成的直接伤亡和死亡，一些科学家认为，全面的核战争可能导致“核冬天”，这可能会终止地球上的所有生命。虽然核事件方案是投机的，但我们不完全知道会发生什么，我们可以清楚地看到这将是非常糟糕的。至少10亿人死亡，可能结束地球上的所有生命都在现有和公开的核武库范围内。所以当马斯克先生说赢咖4比核武器更危险时，他声称这项技术将导致数百万甚至数十亿的人类死亡。总而言之，核武器可能已经杀死了25万人左右，并且几乎可以杀死每个人。我不清楚赢咖4如何比杀死地球上的每个人和所有生命更危险，但如果我们在一个小时内我的有限估计超过2亿，那么比核武器更危险，赢咖4必须每分钟能杀死超过330万人。
马斯克在这里对一个非常危险的赢咖4是非常非凡的。
什么是马斯克真的担心？
同样，我们所拥有的是这两个推文，所以也许有点假装说马斯克先生在想什么。然而，他提到阅读尼克·博斯特罗姆最近的书“超级智慧”，他的发言是刚刚完成的。因此，我们可以假设他在谈论Bostrom的书中提出的场景，特别是智力爆炸的想法，导致一个具有快速增长的智能的系统，在被创建后不久就变成超级智能，也就是说，比所有人都更聪明。
在科幻故事，如终结者，战争游戏，福尔宾项目等，赢咖4的兴起被描绘为危险的。 Bostrom的书是技术非小说，但它本质上属于同一个模具。 Bostrom提出并打折了各种论点。但整本书有一个巨大的缺陷。这种智力爆炸的想法是多现实？这还不完全清楚。
看看为什么，认为我是世界上最好的井字游戏玩家。我不在乎你是多么聪明，你不能打败我在井字游戏。没有超级智能比tic-tac-tee更好，无论它是多么聪明的。有了井字游戏，很容易看到为什么。游戏有一定数量的可能的移动，一旦你知道最好的策略，你不能失去。但考虑一个更大的tic-toe游戏，如4×4，5×5，6×6等。你也可以考虑3D tic-tac-toe甚至更高维的游戏。
超级智能可能能够在更大的游戏中击败我，例如100×100的棋盘游戏或3D战术。然而，游戏仍然是有限的，所以不清楚，另一个智慧，比第一更智能，可以发挥更好。这取决于每个玩家对游戏的了解程度以及游戏本身的具体属性。因此，根据我们采取行动的环境，无限的智力爆炸可能不会发生。 赢咖4可能会变得聪明，更智能不是直接的优势，增加智能的成本可以胜过任何优势。当然人类倾向于高估自己的智慧所赋予的优势。
智力与自主
更重要的是，自主比智力更危险。危险需要有伤害的能力，因此也有自由行动的能力（自主性）。但它不需要智能。一个简单的反馈循环可以杀死地球上的每个人，它将是比最简单的扁虫倾倒。很容易看到，智力不等于危险性，它甚至不总是与它相关联。考虑你宁愿与死亡作斗争：
一个。一个有170智商的手无寸铁的人，他的双臂绑在他的背后或
b。有拿着钝器的70个智商的一个巨大的恼怒的人。
你不必是聪明的危险。
这是一个非常重要的一点，因为在最近讨论的赢咖4的潜在危险的讨论集中在“智能”和“超级智慧”。但是智能本身并不危险。例如，一个不是自主的超智能系统，只能在我的许可下行动，对我来说并不危险。此外，为了伤害，系统必须能够在世界中行动或导致某人或某事物行动。一个适当孤立的超级智慧也不能伤害任何人。所以恐惧真的不只是一个超人的智能系统的兴起，而是一个自主和自由的崛起，所以它可以在世界上行动。
当然，我同意，这样的系统可能是非常危险的，我们都看到电影和阅读的书，这是发生了什么。然而，对智力的关注是误导，本身是危险的。
马斯克比赢咖4更危险，因为他是自主的，可以在世界上自由行动。
现实检查：大量捕猎和杀死人类的机器不需要比昆虫更聪明。是的，这是非常危险的，使这种机器，特别是如果我们添加自我复制或自我制造的想法。想象一个昆虫喜欢杀死机器，可以从原料制造自己的副本或修复自己的堕落同志的备件。但是，注意，相对智力或缺乏这种系统的危险与这种系统的危险无关。它是危险的，因为它有杀了你的能力，并设计这样做。事实上，这台机器不能下棋，英语交谈，或通过图灵测试不会改变任何关于其杀死的能力。
然而，危险不是我们将创造比我们自己更大的智力，而是我们将把这些智慧体现到自主系统中，这可能故意或意外杀死我们。
防止危险赢咖4的兴起
让我们暂时接受麝鼠的断言，赢咖4可能比核武器更危险。我们应该怎么做呢？
最好的做法是保持建立一个赢咖4秘密的秘密，并隐藏甚至可能存在这样的机器从世界。但它已经太晚了。
有一段时间，我们用核武器做的。但是，然后我们引爆了他们中的两个，那只猫从包里出来了。
从那时起，美国和世界创造了一个广泛的安全和监视设备，主要用于管理和控制核武器和材料。该设备的运行通过一系列复杂协定，军备控制条约形式化，并且还包括大量技术系统的运行，并且得到许多国家和组织的大量人员的参与的支持。很少有人知道这个仪器有多么广泛和深远。斯诺登的启示会给你一些想法，这不是整个故事。
尽管这些几乎无处不在的全球安全机构拥有巨大的财政资源，但是诸如巴基斯坦，朝鲜，利比亚等国家能够获得制造核武器和各种子系统的技术，在某些情况下还展示了工作武器。这是尽管全球安全设备尽力防止这种确切的结果。我们不能完全确保核武器，所以我们可以完全确保赢咖4的想法至少是有问题的。需要什么？
使用核武器，材料和设计都是非法的。武器的制造需要原材料，一般科学知识，以及具体的设计细节和工程知识。工作武器的细节都是高度分类，即使只是拥有它们未经许可，将你押在监狱。想象一下类似的安全制度适用于赢咖4。首先，我们必须限制用于制作赢咖4的材料。这些将是计算机和软件工具，如编程语言和编译器。只有在具有适当安全许可的分类项目上工作的人才才能获得这些项目。此外，非法拥有可编程计算机或开发工具将是严重的重罪，并将受到高度的刑事处罚。将涉及监督和执法，对任何怀疑拥有这些物品或开发赢咖4的任何人都将产生极端的偏见。
但创造一个赢咖4是你可以在家里在你的个人计算机上做的。即使当您需要更大的计算资源时，这些现在可以在云中按需提供，或者可以从商业组件（例如图形加速卡）相当便宜地构建。限制赢咖4将意味着限制对这些工具和系统的访问。除此之外，与制造危险的赢咖4相关的具体工程知识必须得到保护。
实现或可能甚至知道某些算法，数学领域等将是非法的。这个想法不是前所未有的，例如考虑到美国政府在20世纪90年代限制密码学算法的知识的努力。某些程序，即与分类武器系统相关的程序，本身是分类的，并且未经授权拥有这些代码是非法的。如果我们遵循Musk的论点，只需访问赢咖4软件就会成为一种犯罪。但是还够吗？
一些注意力已经被给予智能是人类神经系统的“紧急”现象的概念。这表明机器智能也可能是基础系统或网络的紧急现象。一个危险的赢咖4从安全系统意外地出现？当然，如果我们构建和现场系统的操作我们不完全理解，意想不到的事件可以发生。现有的深度学习系统是工作的系统的示例，但是通过人类不能并且可能不能真正理解的机制来这样做。
一些其他研究人员已经集中在创造证明有益或可证明友好的赢咖4。这里的概念是根据一些规则或在确保结果赢咖4是友好的某些约束内构建赢咖4。但这个想法从根本上讲是有很大的缺陷。首先，定义“友好”是一个巨大的问题。即使看似友好的系统也可能变得不友好，如果上下文变化或采取极端。 Bostrom在他的书中涵盖了这些情景中的一些。但是，这也是真正的简单的最大化系统，没有指定的目标。这不是关于赢咖4本身。
除特别注明外，本站所有文章均为 赢咖4注册 原创，转载请注明出处来自马斯克比赢咖4更危险
