这是我在Nick Bostrom最近的书“Superintelligence：Paths，Dangers，Strategies”上的第二篇文章。在上一篇文章中，我讨论了博斯特罗姆对正交性论文的辩护。本论文声称几乎任何级别的智力 - 当“智力”被理解为手段末端推理的技能 - 几乎与任何（最终）目标兼容。因此，人工代理可以具有非常高水平的智力，并且然而使用该智力来追求非常奇怪的最终目标，包括对于人类的生存是不利的目标。换句话说，不能保证赢咖4之间的高度智能将为我们带来更美好的世界。
正交论与最终目标有关。今天我们要看一个相关的论文：仪器融合论。本论文与子目标有关。论文声称，虽然超智能赢咖4可以在理论上追求几乎任何最终目标，但是，有一些子目标，它可能追求。这是出于简单的原因，某些次级目标将使其能够实现其最终目标。因此，不同的代理可能“收敛”在这些子目标上。这使得超智能赢咖4的未来行为从人的角度来看稍微更可预测。
在本文的剩余部分，我将提供一个更详细的仪器融合理论的表征，并看一些汇合子目标的例子。
1.什么是工具融合论？
Bostrom以下列方式表征工具融合论：
工具性收敛论：可以确定几个工具价值[或目标]，这些价值观是收敛的，因为它们的获得将增加代理人的目标在广泛的最终目标和广泛的情况下实现的机会，这意味着这些 工具价值[或目标]可能由广泛的智能代理人追求。
与进化理论的类比可能有助于我们理解这个想法。 （我知道，我现在在这个系列的前两篇文章中使用了两个与进化相似的类比，我承诺这不会是趋势。）在他的进化论中，哲学家丹尼尔·丹尼特采用了一个“好技巧“。自然选择的演进是一个目标导向的过程。目标是确保不同基因型的存活。生物体（或更具体地说，它们携带的基因型）适应他们所居住的环境以实现该目标。事实是，在这些环境中有巨大的变化：什么是自适应在一个可能不适应在另一个。然而，有一些“好的技巧”，将使生物能够在广泛的环境中生存。例如，视力在几乎所有环境中都是有用的。因为它们非常有用，不同组的生物 - 通常具有非常不同的进化史 - 倾向于在进化时间内一次又一次地击中这些“好的技巧”。这种现象实际上被称为会聚演化，虽然我喜欢Dennett的标签。 （Dennett也使用了“强制移动”的相关概念）。
我认为Bostrom的工具融合概念非常像Dennett的“好技巧”的概念，除了Bostrom的概念更广泛。丹尼特正在通过自然选择处理进化，这涉及一个总体的最终目标，在各种环境中追求。 Bostrom关注可能有许多可能的最终目标并且可能在许多可能的环境中运行的代理。尽管如此，尽管增加了复杂性，博斯特罗姆还是确信有一定的（非常一般的）子目标，对于广泛的可能的最终目标和广泛的可能环境的代理是有用的。因此，我们很可能看到甚至超级智能代理商打这些“好窍门”。
那么这些“好窍门”可能是什么？基本规则是：
如果X可能增加代理在各种环境中实现其最终目标（无论这些最终目标是什么）的机会，那么X很可能是所有代理的（融合）子目标。
让我们来看一些可能的例子。这些都是在博斯特罗在他的书中讨论的。
2.自我保存和目标内容完整性
Bostrom提到的前两个是自我保护和目标内容的完整性。它们是密切相关的，虽然后者在理解超智能赢咖4方面更重要。
自我保护的次目标是人类熟悉的。事实上，正如博斯特罗姆指出的，人类倾向于追求这一目标作为最终目标：除了某些例外，人类几乎没有比自己的生存更有价值。 赢咖4的情况略有不同。除非它是故意创造的，它没有内在的最终目标 - 即它学习获得目标随着时间的推移 - 或者除非它明确地编制了自我保护的最终目标，赢咖4对自己的生存的兴趣永远玩第二个小提琴实现其最终目标的兴趣。然而，除了立即自我毁灭的目标之外，这些目标中的大多数需要时间来实现。因此，在实现目标之前（或者直到它确定自己的破坏对于实现目标是必要的），赢咖4才能保持自己的存在将对仪器有益。
嵌入在这是目标内容完整性的更重要的融合子目标。实质上，这是一个想法，代理需要保留其目前的未来目标，以确保其未来的自我将追求和实现这些目标。人类实际上使用各种技巧，以确保他们保持他们目前的目标。例如，真正想戒烟的吸烟者将采取一系列激励和约束，以确保他们的未来自己将坚持戒烟的目标。我们可以想象人工代理需要做同样的事情。虽然当我们想象这一点，我们必须记住，人工代理不可能受到与人类代理人一样的意志弱点：只是保持目标随着时间的推移对他们来说是足够的。 Bostrom认为目标内容的完整性比赢咖4的自我保护更重要。这是因为，如上所述，自我保护的需要在很大程度上取决于最终目标的性质;而最终目标本身的完整性不是。
也就是说，Bostrom确实认为有一种情况，一个代理可能改变其最终目标。他在文中给出了几个例子。一个是，它可能改变它们，以确保信任的合作伙伴进行合作交流。这个想法是，为了追求其目标，代理可能需要与其他代理合作。但是这些其他代理可能不信任代理，除非它改变其目标。这可能使代理人有动机改变其最终目标。也可能是代理的最终目标包括对其最终目标的内容的偏好。换句话说，它可以被编程以确保它由某些值驱动，而不是它追求特定的结果。这可能需要随着时间的推移改变目标。最后，相对于实现该目标的可能性，维持某个最终目标的成本可能如此之大，以至于代理被激励以“删除”或“移除”该最终目标。
我认为代理改变其最终目标的想法是一个连贯的想法。人类一直这么做。但我对这些例子有些担心。一方面，我不确定他们是内部一致的。代理改变其最终目标以确保合作伙伴的概念，对我来说似乎很奇怪。似乎它的最终目标在这种情况下，只是保持“保留”和一个表面变化的掩盖，以安抚合作伙伴。此外，在他对正交性论文的辩护中，后来在他的防御赢咖4的末日情景中（我们将在下一篇文章中讨论），Bostrom似乎认为最终目标将是稳定的和压倒性的。如果他们可以像这些例子似乎暗示那样容易改变，那么这些防御的影响可能会减轻。
3.认知增强和技术完美
智能代理的另一个合理的收敛子目标是追求自己的认知增强。这个论点很简单。代理人必须有能力准确地思考和推断世界，以实现其目标。当然，如果它提高自己的认知能力，它能做得更好吗？增强技术是这样做的一个明显的方法。此外，处于能够成为超级智能的位置的第一赢咖4可能对其自身的认知增强具有非常高的工具价值。为什么？因为这样做将使其能够比所有其他代理获得决定性的战略优势，这将使其处于更好的地位以实现其目标。
这里有一些例外。如在正交性论文的讨论中所指出的，当达到某些类型的目标时，某些类型的认知技能是不必要的。 Bostrom使用“荷兰书籍论据”的例子表明，概率论的熟练程度是一种有价值的认知技能，但也注意到，如果代理人不期望遇到“荷兰书”类型的场景，则可能没有必要获得所有的熟练。类似地，代理可能能够将其一些认知能力外包给其他代理。事实上，人类一直这样做：这是我们创造赢咖4的原因之一。
另一个可能的收敛子目标是技术完善。这将是对先进（“完美”）形式的技术的追求。我们使用技术使事情更容易为我们自己。例如，建筑和施工技术使建筑师和工程师能够更好地实现他们的目标;医疗技术帮助我们预防和治疗疾病;计算软件使我更容易写文章和博客文章（事实上，后者甚至不可能没有技术）。 赢咖4可能以相同的方式查看技术，不断寻求改进它，并且由于赢咖4本身是技术，试图将新形式的技术与自身集成。再次，这似乎在“单身人士”（没有其他对手或反对派的赢咖4）的情况下尤其如此。它可能使用技术获得对其环境的完全掌握。 Bostrom建议这将包括空间定植技术（如冯诺依曼探针）和分子/纳米技术的发展。
同样，这将有例外。技术完善的价值将取决于代理的最终目标。先进技术的发展将是昂贵的。代理人需要相信这些成本是值得的。如果它可以以一些技术上效率较低的方式追求其目标，显着地节省成本，它可能不会倾向于技术完善。
4.资源获取
Bostrom讨论的最终子目标是资源获取。这也是一个明显的。通常，代理需要资源以实现其目标。如果我想建房子，我需要获得某些资源（有形资本，金融资本，人力劳动等）。类似地，如果超智能赢咖4具有例如最大化宇宙中的纸夹的数量的目标，则它将需要一些塑料或金属，它们可以成形为回形针。具有不同目标的赢咖4将尝试获取其他类型的资源。可能性是无穷无尽的。
当涉及到资源获取时，人类和赢咖4之间可能有一个重要的区别。人类通常由于社会地位的原因积累资源。更大的房子，更大的车，更大的钱 - 这些都是有助于提高一个人的地位超过另一个的事情。由于各种原因，这可能对人类有用。也许他们本质上享受提升的地位，或者提升的地位得到他们的其他东西。鉴于赢咖4不需要受到相同的社会压力和心理上的困扰，我们可能倾向于认为他们在获取资源方面不太贪婪。我们可能会倾向于认为他们只会积累一小部分资源：无论他们需要什么来实现他们的最终目标。
我们错了想这个。或许，至少，Bostrom认为。技术的进步可以使事实上任何东西可以被拆卸和重新组装（在原子或甚至亚原子水平）成有价值的资源。因此，几乎宇宙中的一切都可以成为一个足够先进的赢咖4的宝贵资源。这可能有相当深远的影响。如果赢咖4的目标是最大化一些特定的数量或结果，那么它肯定会尝试获取宇宙中的所有资源，并将它们用于追求这个目标。此外，即使赢咖4的目标表面上更温和（即不涉及“最大化”），赢咖4仍然可能希望创建备份和安全障碍以确保目标实现得以保持。这也可能消耗大量的资源。此外，Bostrom指出赢咖4使用冯诺依曼探针协助这一点的可能性。有了这样的探测器，他们可以殖民在宇宙和收获其资源。
当你毫无疑问地开始看到，当谈到赢咖4末日论证时，融入这个最终子目标的可能性是特别重要的。如果一个超智能赢咖4将试图殖民宇宙并收获其所有资源，我们很容易找到自己在这些“资源”之中。
5.结论
这是对仪器融合理论的简要概述，以及仪表趋同子目标的一些例子。我在这篇文章中没有提供太多批评性的评论。这部分是因为Bostrom有资格自己的例子，还有一点，也部分是因为这篇文章为下一个基础奠定了基础。这篇文章将讨论博斯特罗最初的辩护，声称超级智慧爆炸可能为人类造成厄运。当我们看看，我会有一些更重要的评论。
