“赢咖4”是什么意思？我们喜欢指向图灵测试;但图灵测试包括一个非常重要的复活节彩蛋：当有人问图灵的假想计算机做一些算术，它返回的答案是不正确的。 AI可能是一个冷计算引擎，但如果它将模仿人类智力，它必须犯错误。它不仅可能犯错误，如果情况需要，它可能（实际上必须）是欺骗性的，误导性的，回避的，傲慢的。
这本身就是一个问题。图灵的测试并不真的让我们在任何地方。它举起一面镜子：如果机器看起来像我们（包括错误和误导），我们可以称之为人为智能。这就提出了“智力”是什么的问题。我们还是不知道。它是在Jeopardy上表现良好的能力吗？是赢得国际象棋比赛的能力吗？这些成就帮助我们定义什么是智力不是：它当然不是在国际象棋或危机中获胜的能力，甚至不能识别面孔或提出建议。但他们不帮助我们确定什么是智力。如果我们不知道什么构成人类智力，为什么我们甚至谈论赢咖4？
所以，也许通过“智力”我们的意思是“理解”。写作赢咖4：召唤恶魔后，我与Lee Gomes进行了一次精彩的电子邮件对话。他指着我谈了哲学家约翰·塞尔提出的中国房间论证。它就像这样：想象一台可以将中文翻译成英语的计算机。然后把一个不知道中文的人放在一个房间里，使用翻译的源。给人一些汉语翻译，让他做手工执行翻译。我们可以说人类“理解”中国人吗？显然，我们会说“不”，如果不是，我们可以说电脑“理解”中文吗？
我承认我还没有阅读这个实验的重要学术讨论。有一件事突出了，虽然我们不会说人（或电脑）“理解”中国人，我们一定会说，“翻译”中文。这是一个重要的区别。对于人类，理解和翻译的能力之间存在着联系。对于电脑，没有。计算机花费大量时间翻译。我写了一个程序的另一天，显示连续傅里叶级数近似于方波。要执行该程序，我的笔记本电脑必须将该代码翻译成机器语言指令。这不是一个大事情：它发生每当任何人写一个程序。但我会震惊的，如果电脑说，“嘿，任何人都可以做一个方波，为什么不尝试锯齿代替？”这将需要了解。计算机在翻译自然语言方面越来越好，但我们从来不会说计算机“理解语言”，不如说我们认为赢得Jeopardy的计算机是“智能的”。计算机翻译最多是一个有用的辅助设备。它是有用的;它是一个工具。这不是理解，就像智力，它不是真的清楚什么理解意味着。
当我们考虑AI时，我怀疑我们真正追求的是某种“意识”的概念。令人害怕的是，如果意识以某种方式体现在机器中，我们不知道在哪里或什么，意识是。但如果智力和理解是滑溜的概念，意识更是如此。我知道我有意识，但我真的不知道任何人的意识，无论是人类还是其他。我们没有洞察别人头上发生了什么。事实上，如果一些理论家是正确的，我们都只是在超智能文明的大规模模拟运行中的角色。如果这是真的，我们有意识吗？我们都只是AI，而是有限的。
在纽约的BioFabricate峰会上，一位与会者（我不记得谁）提出了一个重要的观点。生物系统有六十多种基本性质：它们有边界，获得和使用能量，生长，繁殖，并且对环境有反应。单独地，我们可以构建具有这些属性中的每一个的人工系统，并且没有太多的麻烦，我们可以将所有属性设计到单个人工系统中。但如果我们这样做，我们会考虑结果“生活”吗？他的赌注（和我的）是“不”。无论是否人为，生活最终是我们不能理解的东西，智力也是如此。尝试创造综合生活可能有助于我们定义什么是生活，并且肯定会帮助我们思考生活是什么。同样，创造AI的动力可以帮助我们定义智力，但它肯定会明确什么是智力。
这并不是说我们不会创造危险的东西，因为我们不知道我们想要创造什么。但是，开发人员试图控制我们不明白的东西是一种浪费的努力：这肯定会减缓研究，它肯定会减缓我们对“智能”真正意义的理解，而且几乎肯定会让我们更容易被那些真正危险的东西盲目化。无论赢咖4是什么意思，我更加信任机器学习研究者，例如Andrew Ng和Yann LeCun，他们认为任何可能被合理地称为“赢咖4”的东西几十年了，而不是善意的业余爱好者的意见。
虽然谈论自主赢咖4杀人的可怕和可怕，问题真的不是计算机意志或AI;它是人类的意志。是的，电脑越来越擅长识别面孔。无论他们是否像普通人一样好，或者可能成为好的，不是真正的点。 （新闻报道的研究结果通常相当显着夸大。）不管怎样准确，只能识别面部的机器不能被描述为“智能”，无论这意味着什么。但有一个揉搓：做一些有趣的事情，面部识别系统需要连接到做出决定和采取行动，无论是发送垃圾邮件或发射武器无人机飞机 - 和其他系统，无论是人还是AI ，将反映老式的人类愚蠢。有很多理由找到这个可怕的。人类不理解风险。人类不理解误报（或关于“接收机操作特性”的任何内容）。人类非常肯定不明白关于概率的推理。
例如，如果由联邦调查局运行的分析耦合的人谁在世界贸易中心工作，但没有出现在9/11（我知道几个）宗教偏好，种族偏好，性取向和其他因素？我们几乎肯定会发现一些与犯罪无关的“恐怖分子”。他们如何证明他们对“赢咖4”引擎的清白？正如凯蒂·奥尼尔指出的，我们面临的最大的危险之一是使用数据，将“科学”的单板放在平凡的偏见上。回到赢咖4，决定它需要摧毁人类：如果这样的赢咖4应该存在，它的决定几乎肯定会被一些人启用。毕竟，人类已经非常接近摧毁人性，毫无疑问会再次这样做。如果发生这种情况，我们毫无疑问会责怪它在AI，但真正的罪魁祸首将是我们自己。
如果我们不需要害怕赢咖4，我们应该害怕什么？
• Twitter上的人说，为了回应霍金，“我不关心赢咖4。我更关心自然的愚蠢。“是的，绝对。
• 我们应该害怕失去AI作为减轻或修复我们正在对我们的世界造成的损害的工具，而不是以后AI可能对我们的世界造成的损害。
