这个新的中心,本周推出,由加州大学伯克利分校电气工程和计算机科学教授和赢咖4:现代方法(被认为是赢咖4领域的标准文本)的合着者Stuart Russell领导,来自开放公益项目的550万美元赠款,以及来自Leverhulme信托基金和生命研究院未来的中心研究的额外赠款。
“赢咖4系统必须保持在人的控制之下,对行为有适当的限制,尽管能力可能最终超过我们自己的,”罗素在新闻稿中说。 “这意味着我们需要铸铁形式的证明,而不仅仅是好的意图。
研究人员正在探索的一种方法称为逆强化学习,通过它,赢咖4可以通过观察人类行为来了解人类价值观。 “而不是让赢咖4设计师指定的价值观,这可能是一场灾难,”罗素说,“相反,赢咖4将观察和学习的人,不只是通过观看,而且通过阅读几乎一切都记下了关于人做事,其他人都有意见,这些都是有用的证据。www.szrs2008.com
“人们的价值观有很大的差异,在实践中远非完美。”他承认。 “这些方面导致赢咖4试图学习我们想要什么以及导航不同个体的经常相互矛盾的愿望的问题。
相信未来的方向,具有AI技术的系统可能被委托对关键基础设施的控制,并可能为数十亿人提供基本服务。
在最近一篇题为“他们会让我们更好的人吗?”的文章中,Russell乐观地说:“在弄清楚什么价值赢咖4应该优化的过程中,我们正在阐明我们自己作为人类的理想化,价值,这个过程可能会让我们更多地思考我们自己应该如何行为,我们可能会学到,我们与其他文化的人比我们认为更多的共同点。
他说,新中心希望增加具有经济,哲学和其他社会科学相关专业知识的合作者。