[编者注：第一部分是关于博斯特隆的书超级智慧的多部分系列。]
这是我在Nick Bostrom最近的书“Superintelligence：Paths，Dangers，Strategies”上的第一篇文章。在这篇文章中，我看看Bostrom的正交论文。正如我们将看到的，这篇论文是他的主张，超级智能赢咖4可以对人类构成深刻的生存风险的核心。但是论文是什么意思和什么是可信的呢？
我实际上看了Bostrom的正交性论文的辩护。我基于早些时候讨论一篇他写了几年的文章。从我可以知道，本书中提出的论点和文章中提出的论点之间没有什么区别。然而，我将在本系列开头重新审视这些论点将是有益的。这部分是为了刷新我自己的记忆，并且在一定程度上，让我自己回到有关超智能赢咖4的智力辩论之后，忽略了它一段时间。谁知道？我甚至可能有新的话要说。
我应该补充一点，自博斯特罗斯正式论文的原始辩护出版以来，他的同事斯图尔特阿姆斯特朗在分析和形而上学杂志中产生了更长，更技术性的辩护。不幸的是，我没有读这个辩护。因此，我意识到这样一个事实，我在下面处理可能是正交性论文的“次优”防御。这是读者应该记住的。
1.什么是正交性论文，为什么它很重要？
赢咖4风险的支持者经常警告我们的一个事情是我们倾向于拟人化智能机器。只是因为我们人类以某种特定的方式思考，并具有某些信念和欲望，并不意味着一个智能机器，特别是超智能机器，将会做同样的事情。 （除了事实，我们将是编程的决策程序和动机的机器...更多关于这一点，以及它是否可以帮助解决赢咖4风险的问题，在未来的条目）。我们需要意识到，可能的心灵的空间是巨大的，并且每个人的心灵只存在于那个空间的一小部分。超级智力可以占据更多的陌生人，更令人不安，地区的居住。
正交性论断是这一点的一个明显的提示。我们喜欢认为“聪明”的代理人倾向于分享一定的信念和动机，并且随着智慧将会智慧和仁慈。毕竟，这是我们对“智能”人类的看法。但是，如果我们将智力理解为进行复杂手段 - 结束推理的能力，那么真的不能保证这一点。几乎任何程度的智力，这样理解，是兼容几乎任何一组目标或动机。这是正交性论文。正如Bostrom所说：
正交性论题：智力和最终目标是正交的：或多或少任何水平的智力原则上可以与或多或少的任何最终目标相结合。
我们需要更详细地解开这个定义。
我们将从“智力”的概念开始。如上所述，Bostrom不意味着引用任何规范性的或价值负担的合理性形式;他只是意味着在手段末端推理下调用效率和技能。哲学家和经济学家早就对这些定义问题进行了辩论。哲学家有时认为智力或理性的判断包括对动机的评估。因此，对于哲学家来说，一个非常想要计算世界上所有草叶的人在某些重要方面将是“非理性的”或“精神不足的”。经济学家通常对智力或理性需要的意识较薄。他们不评估动机。草叶计数器与其他人一样合理。所有重要的是他们是否保持动机的逻辑层次结构，并根据那些层次结构行动。 Bostrom的智力观点更接近经济学家的理性感，除了它也包括获得你想要的伟大的技能。这种技能必须包括获得关于你周围世界结构的真实（或相当真实的）信念的能力。这是为了你可以操纵这个世界可靠地得到你想要的。
我们需要解开的第二个概念是“最终目标”。据我所知，波斯特罗姆从来没有在他的书中定义这一点，但这个想法是相对直截了当的。这是一个代理人可以有某些目标是他们的存在理由，他们从根本上和必然的目的是实现，和其他只是有助于追求这些最终目标。换句话说，有一些目标是这样的，代理所做的一切都是为实现这一目标而定制的。对于Bostrom，假设似乎是一个超智能赢咖4可以被编程，以便它有一组最终目标是动态稳定和压倒性的（注意：使用“可能”是重要的）。这是重要的，因为Bostrom呼吁在响应可能的正交性论文的批评时，压倒性和动态稳定的最终目标的可能性。
我们需要解开的第三件事是“或多或少”的限定词。 Bostrom承认某些目标可能与某些智力水平不一致。例如，复杂的目标可能需要一个相当复杂的认知架构。类似地，高度智能系统可能具有的动机种类可能存在动态约束。也许系统编程与最终目标使自己stupider。在这种情况下，其最终目标不符合高水平的智力。然而，这些资格不应该削弱更大的点：几乎任何水平的智力与几乎任何最终目标一致。
这就是正交性论文。论文对于Bostrom的重要性，因为当理解得当时，它提高了我们对赢咖4风险的欣赏。如果一个超级智能机器可以有几乎任何最终目标，那么它可以做与我们自己的利益相对立的事情。这可能导致存在的灾难。 （我们将在后面的条目中讨论这个结论的论据）
正交性论文是否可信？
乍一看，正交性论文似乎很可能。例如，超智能机器的想法似乎在逻辑上是一致的，其最终目标是最大化世界上的纸夹数量（所谓的回形针最大化器）。我们可以想象 - 我们不能？ - 具有这一目标并具有利用世界资源追求这一目标的卓越能力的机器。然而，至少有一个主要的哲学反对。
我们可以称之为激励性的信念反对。它工作类似这样：
激励信念反对：有一些真正的信念，世界的必然激励，即一旦代理人认为一个特定的事实，他们将被激励以某种方式行动（而不是动机在其他 方法）。 如果我们假设真实信念的数量随着智力的增加而增加，那么，超级智能人必须拥有某些目标，而某些其他人不能拥有某些目标。
一个特别强大的激励信念反对的形式将它与一种道德现实主义的形式结合。道德现实主义认为，世界上有道德的事实“在那里”等待被发现。一个足够聪明的人可能会获得更多关于这些道德事实的真实信念。如果这些事实是动机上显而易见的 - 如几个道德理论家倾向于相信 - 那么一个足够聪明的人会以道德的方式行事。这反过来可以削弱对超人气智能构成对人类的生存威胁的主张（当然，这取决于道德真理是什么）。
激励性的信念反对本身容易受到许多反对。一方面，它违背了人类动机的经典哲学理论：休谟理论。这来自哲学家大卫休谟，他认为信仰是动机惰性的。如果休谟理论是真的，激励性的信念反对失败。当然，休谟理论可能是假的，所以博斯特罗明智地避免了它在正交论论的辩护。相反，他提出了三点。首先，他声称如果最终目标是压倒性的，即如果他们胜过激励信念的动机效果，正交性将仍然成立。第二，他认为智力（如他所定义的）可能不需要获得这样的动机信念。这是一个有趣的点。早些时候，我假设一个代理人在手段末端推理的越好，它的信念就越有可能是真的。但也许这不一定是这样。毕竟，Bostrom对智力的定义至关重要的是，代理是否正在获得所需的东西，并且代理可能不需要关于世界的真实信念来获得所需的东西。在这里一个有用的类比可能是Plantinga的进化论反对自然主义。通过自然选择的进化是一种手段 - 最终的过程：“终止”是基因的存活，任何促进这一点的是“手段”。 Plantinga认为，这个过程没有任何东西需要跟踪关于世界的真实信念的认知机制的演变。可能是某些假信仰增加了生存的可能性。在超智能机器的情况下，类似的事情可能是真的。博斯特罗制造的第三点是，可以创建一个超智能机器，没有我们所谓的“信念”和“欲望”的功能类似物。这也将削弱激励性的信念反对。
我们对这三个反应做了什么？他们当然很有趣。我的感觉是，坚定的道德现实主义者将拒绝第一个。他或她会认为道德信念最有可能是动机上压倒性的，所以任何获得真正道德信念的代理人都有动机根据他们行动（不管他们所谓的“最终目标”）。第二个反应更有趣。当然，普林丁格对自然主义的进化反对是热烈的争论。许多人认为，有充分的理由认为进化将创造真实跟踪认知架构。在超智能赢咖4的情况下，类似的东西可以争论吗？也许。这种情况似乎特别强烈，因为人类将指导赢咖4的初步发展，并且可能确保他们倾向于获得关于世界的真实信念。但是记住Bostrom的观点不是说超智能赢咖4不会获得真实的信念。他的观点仅仅是，高水平的智力可能不需要在我们可能喜欢的领域获得真实的信念。这是一个更难的失败的主张。至于第三个答复，我没有什么可说的。我很难想象一个赢咖4没有信念或愿望的功能类似物（特别是因为那些东西的功能类似物是模糊的），但我想是可能的。
另一点我想说的是 - 虽然我可能倾向于相信某种版本的道德激励信念反对 - 我也完全愿意接受这个反对的真值是不确定的。有许多体面的哲学反对动机内在主义和道德现实主义。考虑到这种不确定性，并且考虑到创建超智能赢咖4的潜在风险，我们应该可以继续“仿佛”正交性论文是真的。
3.结论
这使我们的正交性论文的讨论的结束。总而言之，论文认为智力和最终目标彼此是正交的：几乎任何水平的智力与几乎任何最终目标都是一致的。这导致超智能机器具有与我们自己深深对立的最终目标的可能性。
