上周五在加拿大蒙特利尔举行的神经信息和处理系统大会上，一个人造智能专家团队宣布，OpenAI是一家致力于改变机器学习世界的非营利公司。
由特斯拉和Space X的Elon Musk和Y Combinator的Sam Altman支持，OpenAI拥有庞大的预算，甚至更高的目标。 OpenAI拥有十亿美元的初始资金，避开了获得经济利益的需要，从而使自己处于天上的道德上。
OpenAI不必再回答业界或学术界，而是希望不仅仅关注开发数字智能，还可以沿着道德路线指导研究，根据他们的就职博客帖子，“使整个人类受益”。
OpenAI从头脑开始：100年来，AI能实现什么，我们应该担心吗？如果由Google，Facebook和苹果等巨型的盈利性科技公司掌握，所有这些都在过去几年内都投入到自己的AI系统中，AI和未来的超智能系统将会打破点和螺旋失控？各国政府是否可以用AI来监督和控制公民？今年早些时候呢，伊朗·穆斯克（Elon Musk）警告说，能不能最终摧毁人类？
自从今年早些时候开始构想以来，OpenAI已经在深入学习的领域手工切割了作物的奶油，以组装团队。其顶尖的年轻人才是斯坦福大学博士生Andrej Karpathy，其简历包括Google实习和DeepMind，谷歌于2014年在伦敦设立秘密的AI公司。
上周二，我和Andrej坐下来聊聊OpenAI的精神和愿景，初步步骤和重点，以及AI和超智能的未来。为了清楚起见，采访已经进行了浓缩和编辑。
OpenAI是如何发生的？
今年早些时候，曾经是Stripe首席技术官的Greg [Brockman]离开了公司，希望做点不一样。他对AI有着悠久的兴趣，所以他正在询问，用一个以研究为重点的AI创业的想法。他伸出手来，得到了正在做好工作的人的名字，最后把我们整理起来。
同时，YC的Sam [Altman]也对此感到非常的兴趣。 YC鼓励创新的一个方法就是启动加速器;另一个是通过研究实验室。所以，Sam最近开了YC Research，这是一个伞形研究机构，OpenAI是或将成为其中一个实验室。
至于Elon，显然他对AI有一段时间的关注，经过多次对话，他跳上了OpenAI，希望以有益和安全的方式帮助AI发展。
资助者对OpenAI如何开展研究有多大的影响力？
我们还处于很早的阶段，所以我不知道如何解决这个问题。埃伦说他每周都想和我们一起工作。我的印象是，他不打算进来告诉我们该怎么做 - 我们的第一次互动更多的是“让我知道我能以什么样的方式帮助我”。我觉得Sam和其他人也有类似的态度。
AI最近一直在飞跃，来自学术界，大型科技公司和聪明的创业公司。 OpenAI希望通过将你们放在同一个房间里来实现，而现在你不能做分布式网络呢？
我是一个很大的信徒，把人们的身体放在同一个地方，让他们说话。跨机构合作的人脉网络的概念效率要低得多，特别是如果他们的激励和目标略有不同。
更为抽象的是，在将AI推广为技术方面，OpenAI可以做什么，目前的研究机构，公司或深入学习作为一个领域？
很多它来自OpenAI作为非营利组织。在AI中发生的事情是，您拥有非常有限数量的研究实验室和大型公司，如Google，正在招聘大量研究人员进行突破性工作。现在假设AI有一天可能会因为缺乏一个更好的词语而变得危险，或者被危险的人使用。目前还不清楚，您想要一个大型的盈利性公司有巨大的领先优势，甚至垄断研究。它主要是激励问题，事实上它们并不一定与人类有利。我们从一开始就把它烘焙成我们的DNA。
此外，作为一个非营利组织有一些好处，直到现在我都不太感激。人们正在伸出援手，说“我们要帮助”你不会在公司得到这个;这是不可想象的。我们收到来自数十个地方的电子邮件 - 人们提供帮助，提供他们的服务，协作，提供GPU电源。人们非常愿意与你交往，最终将推动我们的研究进展，以及AI作为一个领域。
OpenAI似乎建立在大局上 - AI如何有益于人类，以及如何最终摧毁我们所有人。艾伦多次警告不要监测的人发展。在你看来，AI是一个威胁吗？
当艾伦谈论未来时，他谈到了现在几十年或几百年的规模，而不是大多数人认为的5或10年。在接下来的5年或10年，我不认为AI是一个威胁，除了你更可能依赖自动化以外，但是，如果我们正在考虑人类已经生长着的火星（这个未来很远的地方），那么我有更多的不确定性，当然，AI可能会以可能构成严重挑战的方式发展。
我认为说AI将摧毁人类在五年的时间里;但是，如果我们正在考虑人类已经生长着的火星（这个未来很远的地方），那么AI可能是一个严重的问题。
我们看到的一件事是，很多进展非常快。例如，计算机视觉已经经历了一个完整的转变 - 三年前的论文现在看起来是外向的面对最近的方法。所以当我们在几十年的时间内进一步缩小时，我觉得我的分布比较广泛。所以说有1％的机会发生疯狂和突破性的事情。当你再增加一些垄断这个技术的牟利公司的效用时，那么开始听起来很可怕。
你认为我们应该对AI研究进行限制以确保安全吗？
不，不是自上而下，至少现在。一般来说，我认为有更多的AI专家能够在实地工作中获得共同的认识。开放研究就像OpenAI想要做的那样，而不是让商业实体垄断知识产权的结果，也许是一个很好的途径。
诚然，但最近的营利性公司也在发布自己的技术 - 我在想Google的TensorFlow和Facebook的火炬手。在这个意义上，OpenAI在“开放式研究”方法上有何不同？
所以当你说“释放”时，有一些需要澄清的事情。第一个Facebook没有释放火炬;火炬是一个已经存在了好几年的图书馆。 Facebook已经致力于火炬手，正在改进。 DeepMind也是如此。
但是TensorFlow和Torch只是他们研究的微小斑点 - 它们可以帮助别人做好研究工作，但并不是其他人可以建立的实际结果。
不过，其实很多这些工业实验室最近都是出版研究成果的良好记录，部分原因是内部的很多人来自学术界。尽管如此，围绕着大部分工作都存在一些保密的面纱，并不是所有的东西都出来了。最终，企业真的没有很强的分享激励。
另一方面，OpenAI鼓励我们发布，让公众和学术界参与到博客上。过去我已经陷入困境，因为内部公司的分享太多了，所以我个人真的很享受自由。
如果OpenAI提出了可能导致超级智能的潜在的改变游戏规则的算法呢？完全开放的生态系统不会增加滥用技术的风险吗？
从某种意义上讲，它有点像CRISPR。 CRISPR是基因组编辑的一个巨大飞跃，只有几年的时间，但是有很大的潜力受益于人类。由于这些伦理问题，最近在DC举行了一次会议，讨论如何作为一个社会前进。
在OpenAI研究过程中，如果发生类似的事情，那么我们就不得不谈论它。我们没有义务分享一切 - 在这个意义上，公司的名称是一个不正确的名称 - 但公司的精神是我们默认的做法。
最后，如果在AI研究中发生一些疯狂事件的机会很小，其他一切都是平等的，那么您希望这些进步是在一家商业公司内进行的，尤其是那些垄断研究的公司，还是想要这样做？发生在非盈利组织内？
我们从一开始就把这个理念嵌入到我们的DNA中，我们注意到AI的发展，而不仅仅是[最重视利润]的最大化。
那么OpenAI是否是守门员呢？你对这个领域将会如何去进行重大的影响，以及它将要发生的事情。
这是很大的责任。这是一个“较小的邪恶”论证;我觉得还不错但我们不是唯一的“控制”这个领域 - 由于我们的开放性，我们欢迎并鼓励他人加入讨论。另外还有什么可选择的？在某种程度上，非营利性，在其DNA中具有共享和安全性，是该领域的最佳选择和该领域的实用性。
此外，AI并不是唯一值得担心的领域 - 我认为生物是破坏世界的一个更加迫切的领域[笑]！
在招聘方面，OpenAI正在与硅谷的巨型科技公司进行竞争。公司如何计划吸引顶尖AI研究人员？
我们有点[笑]。
但是，我认为公司的使命和团队成员是足够的。我们目前正在积极招聘人员，到目前为止，让人兴奋的加入我们也是没有问题的。 OpenAI以多种方式结合了最好的学术界和创业界，并且是非营利性的，我们拥有道德上的高度，这是很好的（笑）。
特别是这支球队是一支超级强大，超级紧密的队伍，这是很大的一部分。
拿一些上升的超级明星在这个领域 - 我自己不包括 - 把它们放在一起，你得到了OpenAI。我加入了主要是因为我听说有谁在团队中。在某种程度上，这是最令人震惊的部分;我的一个朋友把它描述为“冲击寺庙”。格雷格从无处不在，舀起了顶尖的人做一些伟大的事情，创造了新的东西。
现在OpenAI有一个摇滚明星的科学家团队，你们开发赢咖4的策略是什么？您是否从Elon获得大量数据？你先处理什么问题？
所以我们真的还在想很多。我们正在尝试通过自下而上和自上而下的思考来结合这一点。自下而上是我们可能想要处理的各种论文和想法。自上而下的这样做是加起来的。我们目前正在考虑这一点。
例如，我今天刚刚提交了一份愿景研究提案草案，其实[笑]。我们把其中的几个放在一起。另外值得一提的是，目前我们目前还没有积极从事赢咖4安全。我们目前所关注的很多研究都是传统的。在一般的愿景和哲学方面，我认为我们与DeepMind最相似。
我们可能在某种程度上可以利用Elon或YC公司的数据，但现在我们也认为我们可以走得很远，使自己的数据集，或者使用现有的公共数据集，我们可以与其余的同步工作的学术界。
OpenAI会考虑进入硬件，因为传感器是与环境交互的主要方式？
所以，是的，我们有兴趣，但硬件有很多问题。对我们来说，大致来说，有两个世界：位的世界和原子的世界。我个人倾向于现在留在这个世界，换句话说就是软件。你可以在云端运行东西，速度要快得多。诸如赢咖4之类的原子世界经常打破，通常会有一个更慢的迭代周期。这是我们现在在公司里进行的非常积极的讨论。
你认为我们实际上可以得到广义的AI吗？
我想到超级智慧，我们目前可能会缺少一种“亲切的”差异，因为我们不会通过使我们目前的系统更好地达到目的。但从根本上说，没有什么可以阻止我们得到类似人类的智慧和超越。
对我来说，这主要是一个“何时”的问题，而不是“如果”。
我不认为我们需要模拟人类的大脑来达到像人类的智慧;我们可以缩小并估计它的工作原理。我认为有一个更直接的途径。例如，最近的一些工作表明，ConvNet *激活与人类视觉皮层的IT区域激活非常相似，而不会模仿神经元如何实际工作。
[* SF：ConvNet或卷积网络，是1990年代由Yann LeCun首先开发的视觉任务的一种人工神经网络拓扑。 IT是劣质的颞皮层，它处理复杂的对象特征。
所以在我看来，使用ConvNets，我们几乎检查了大部分的皮质，大约占皮质的30％左右，其余的皮质可能看起来并不一样。所以我看不到在几十年的时间尺度之内，我们不能在检查休息时取得很好的进展。
另一点是，我们不一定要担心人的AI。我认为黑猩猩级别的AI同样可怕，因为从黑猩猩到人类，大自然只是对进化时间尺度的眨眼，我怀疑在我们自己的工作中也是如此。同样，我的感觉是，一旦达到这个水平，就很容易超调和超智能化。
