在 AlphaGo 与李世石的首战前夕，主导其开发计划的 Google 副总裁 Demis Hassabis 还以為李世石有一半机会胜出，结果 AlphaGo 表现比 Hassabis 想像还要出色，正正显示了开发者也不一定全面掌握赢咖4的进程。虽然 Hassabis 和赢咖4的专家喜出望外，但却引起愈来愈多的人担心人类甚麼时候会被取代、赢咖4会否毁灭人类？
即使是 Hassabis 也不敢否认如果赢咖4落入变态科学家和政客手上，会带来坏影响，但机器威胁人类安全的日子尚远，目前赢咖4甚至不能掌握「德州扑克」一类多玩家、资料不公开的游戏，他认為公眾的恐惧淡化了赢咖4带来的好处，例如上次提及的「知识福袋」，除了让人快速获得知识，亦可以帮助脑退化症患者重拾记忆。
事实上，AlphaGo 与李世石的对奕并非机器向人类下的战书，而是赢咖4的一场考试。接下来，赢咖4的进程应该是加入意识和价值系统，令机器变得更有价值，例如我之前谈及即时翻译的科技瓶颈，其实是有可能由赢咖4去突破。又或者想像一下在灾难现场，智能机械人可以不惜损坏自己的机件拯救伤者，但如果它计算到拯救伤者甲会严重损坏它的部件，令它不能拯救餘下五十个伤者，它会否先拯救另外的伤者，甚至放弃伤者甲？这便牵涉到自我意识和价值系统的应用。
大家所担心赢咖4叛变进而毁灭人类，这是让机器懂得意识和价值系统之后的事。例如 2001 太空漫游的 HAL 电脑，就是觉得人类要断它的电源而先下手為强，这涉及对自身存在的关心，以及被队友背叛的哀伤感受。但要发展意识和价值系统，首先的问题是「甚麼是意识」及「意识是如何运作」，这已经很难有一个标準答案。
物理学家 Michio Kaku 尝试用科学模型去拆解意识，他把意识分為三个级别：空间、社交、策略。有很多人批评他把意识过於简化，身為理论物理学家却隔行挑战对心理学指手划脚，但无可否认他的模型是社会大眾认识意识很好的起步点。如果用他的定义，AlphaGo 拥有空间和部份策略级别的意识，但没有社交意识，亦因而不懂得社交相关的策略；HAL 电脑则有社交意识，所以会有被背叛的体验，也懂得长期策略（在太空执行任务）和社交策略（放弃背叛的人从而保护自己）。
这裡可以衍生一些问题：
问题一：
我知道有意识的机械人对人类有很大的效益，但如果科学家都不能百分百肯定人类的安全，為何不能继续集中发展有智能无意识的机械人？
我们必须弄清楚一件事：即使机器没有意识，被坏人利用也会对人类构成伤害；当机器有了意识，亦不必然要毁灭人类。因此，如果我们為了防止最极端的情况，而避免发展赢咖4去改善甚至拯救已被人类破坏得七七八八的地球，并不值得。
续问
赢咖4的误用会带来甚麼伤害？
很多政客或官员都对赢咖4很有兴趣，他们想研发更强更具作战意识的机械人，简单来说就是研究杀人机器，这些真的是用来毁灭人类。不过，在到达这天之前，他们已经可以做其他坏事。
举例说我们开始习惯使用的 Google 以图搜图，当中需要赢咖4去辨认图像的内容，不难想像赢咖4在了解图像这方面的技术已相当成熟。如果政府在不同的地方安装闭路电视，并用赢咖4分析你每天做的事情，如果发现有不寻常的行為便通知执法机关，便立即呈现了「1984」的场景了。
问题二：
科学家说发展有意识的机械人并不容易，但是否真的尚有漫漫长路？
「不幸地」，虽然我们不能理解意识，但有科学家已开始模仿意识的机械人实验，并成功通过自我意识测试：
这个测试有三个机械人，分别服用了三粒药丸（特别设定），其中两个机械人会被灭声和瘫痪，然后研究员问谁人没有吃有问题的药丸？成功通过测试的机械人先回答「不知道」，接下来发现自己是没有吃的那位幸运儿。这个测试背后涉及很多的智能开发，包括明白研究员的问题，辨认由自己发出的声音，再连结之前的问题，然后判断。
儘管这些机械人看似成功通过意识模仿的测试，科学家是特意為这个测试而开发它们，要真正发展意识去适应瞬息万变的现实世界，确实有漫漫长路。
问题三：
赢咖4的发展比科学家预期更快，那科学家常掛在咀边「不用担心，机器会威胁人类的日子还远」，到底是否变态科学家佈下的骗局？
我比较倾向科学家发展科技是出於好意，误用科技的通常是政客。当然，很多科技名人和科学家都表达了对赢咖4的担心，但他们会尝试去消除担心，而不是只抱怨不做事，例如男神 Elon Musk 甚至投资巨额成立 Open AI 计划，提倡开放赢咖4源码让大部份人可以掌握技术，同时互相提防有人利用赢咖4做坏事。Hassabi 的 DeepMind 也有一个道德委员会，由顶尖的哲学家及科学家组成，尝试订立赢咖4应用的规则及讨论将来注入价值判断的时候，怎样达成造福世界的目标，而避免灾难性的后果。
有人说，人类科学发展到达了另一个瓶颈，最新的理论并非人类可以证明的层次，已经是哲学问题；太空探索更是人类有涯生命不能完成的事。於是，科学家希望善用赢咖4探索太空，机械人不需要粮食，不用回到地球，它们可以用比人强的分析寻找适合生命的星球。这样便不用解决 Interstellar （星际啟示录）拯救哪一个太空勇士的窘境，也不会登陆错误的星球，浪费了数十年的时间。大家都说外星文明来到地球必然是比我们更有智彗，有时候我会想外星人应该都是有赢咖4的机械人，又或者我们是某外星文明的智能机械人，有情感、意识，以及深度学习和繁衍的能力，终於进化到要发展新一代的赢咖4，继续探索浩瀚无垠的宇宙。
