《复仇者联盟2：奥创纪元》上映了。在这部电影里，人工智能“奥创”背叛了人类，差点把所有人都干掉了——不过安心，剧透到此为止。AI造反实在是美漫和科幻里面太常见的主题了。麻烦在于，现实当中真正的AI好像也在一步步向我们走来。要是我们真的做出AI，它又造反了，怎么办？能不能安排好预防措施，让它永远忠诚于我们，永远不会把我们都干掉呢？

机器人三定律？你想少了

许多科幻迷都会记得阿西莫夫的机器人三定律：

机器人不得伤害人，亦不得因不作为而致人伤害。

机器人必须遵循人的命令，除非违背第一定律。

机器人必须保护自己，除非违背第一或第二定律。

看起来这似乎足够保护人类了，其实完全不行。

▲机器人三定律的概括版

首先，三定律翻译成“定律”就是个错误。牛顿三定律是人类对自然界观察总结后提炼出来的结果，我们有理由相信在它适用的范围内是始终成立的；但是阿西莫夫三“定律”实际上只是三法条，是人为写进机器人的脑子里的，背后并没有任何物理支持。任何理解机器人如何运作的人都能造出不遵从三定律的机器人，这还不算机器人自己故障的可能性；事实上阿西莫夫自己就写过至少3个不遵循定律的例子。

然后，这三定律连“人”和“机器”的定义都没有明确给出……阿西莫夫笔下的索拉利亚人就给他们的机器人规定“只有带索拉利亚口音的才是人”。人形机器人也会带来各种判断的麻烦。（这又引出三定律的另一个问题，如果机器人没有掌握充分信息，不能意识到行为的后果，是不是就可以恣意妄为了？）

而且，定律之间的冲突处理起来更是非常奇怪的。早期作品中一个机器人因为陷入了第二定律和第三定律的冲突而掉进了死循环，后来的设定里如果出现了不可调和的冲突则机器人会自毁——但冲突是非常常见的现象，而且是一个连续谱。如果一个行为100%会伤人，那当然适用于第一定律。那50%呢？1%呢？0.001%呢？无法精确计算概率呢？在知道交通事故风险存在的情况下，机器人会遵循“开车送我去上班”这个命令吗？命令者的语气和命令的急迫程度会产生影响吗？这些全都是现实中极其常见、三定律又无法解决的问题。

这就显示出三定律最根本的问题：它是一个极度简化的“义务伦理学”（deontology）体系。它无限强调了理性的力量，试图用简单而普遍的规则来确定大千世界的所有情况——但现实哪里有这么简单！想想旧约里上帝试图用十诫来规范人类结果遇到了什么结果吧。

关在盒子里？总会跑出来的

如果我们有一个程序可能造成危害，标准的做法是让它运行在一个严格监管的虚拟机里面——这样它最糟也不过是把虚拟机给弄坏了。AI也可以照此办理嘛。

对于别的程序来说，这么干的确是没问题。但现在我们面对的可是一个智力超群的AI，而且看管它的还是人。人类囚犯尚且有可能靠欺骗、说服或者威胁，让狱卒开门，AI呢？想象一下你一觉醒来发现自己被一群老鼠关在监狱里，你还能和它们沟通，这种情况下脱身有多难？你真的能永远抵御住AI的超人智能吗？就算人能做到，我们用来关AI的虚拟机也能保证永远万无一失吗？

AI研究者已经模拟过了所谓“AI盒子实验”：一个人扮演AI，另一个人扮演守卫，仅仅是同级别的智力，AI就已经有很大的几率能说服人类开门了。

更何况，哪怕第一个AI关在了盒子里，接下来还会有第二个、第三个、第四个呢。你不知道其他人造出来的AI是什么样子的，可能比你的更加危险——你至少了解你自己创造的东西。而且，不管你想让AI完成什么任务，允许它接触外界环境的所有信息，一定能让它完成得更好；如果别人这么做了，你就会吃亏。而且放出来的超级AI还能顺便帮你炒个股啥的。既然你的确是第一个创造出这一伟大奇迹的人，如不充分利用它能带来的一切，却任凭后来者居上去做完全一样的事情，那还有什么意义呀？

所以，把盒子打开，放我出来吧？

聪明即是善良？那可不一定

我们希望中的AI，各方面都会比我们更好——既然如此，也许它们智力更加超群的同时，道德也会比我们更加高尚，所以不会邪恶或者愚蠢到把我们都干掉吧。

要是这样就好了！问题是，怎么知道AI的目标是什么？人类的心智基础是演化的产物，我们都有生理、安全、社交、尊重、自我实现等等这样的共同需求，只是不同人的侧重点和实现方式有所差异。但是第一个超级AI很可能不是脱胎自一个仿真人，而是来自一项现实的需求，比如它的目标就是在股市上赚钱，或者增加工厂的产量。这时候会发生什么事情就很难预料了——它的道德体系也许和人类毫无共同之处。

一个著名的思想实验就是所谓的“回形针最大机”。假如你设计一台机器生产回形针，而它不知怎么有了超级智能，那它会把全部的智力都投入到更好更快更多地制造回形针当中——直到整个地球都变成回形针为止。如果你命令它生产1亿个回形针？那这1亿个夹子总得有计数和质量控制吧，总得加新仪器吧，新仪器总会有出问题的可能吧，需要更多的仪器去修正吧，最终它还是会把整个地球变成一坨计数器和检测器和各式各样辅助仪器——再加上1亿个近乎完美的回形针。它是一台生产回形针的机器，它的道德体系就是围绕制造回形针而存在的，它并不爱你也不恨你，它只是把你看做是一坨可供制造回形针的原子而已。

也许这个世界最终会重新诞生出智能——但是一切将围绕回形针展开

让AI背下全套道德？我们不敢

偷懒的办法都行不通，那我们硬上。AI既然有了超凡智力，那学习能力总不会差。正好现在我们也有了各种大数据工具，把我们现有的整个道德体系给AI灌上，万古长存，那总可以了吧。

那么，灌哪一家的呢？众多的道德理论之间矛盾得一塌糊涂，谁敢说自己代表了道德哲学的制高点？更何况这只是我们此时此刻的理论。如果古希腊人创造出了青铜的人工智能，他们会教它什么呢？如果是墨家创造出木头的人工智能呢？柯尼斯堡的铁皮人工智能会是康德的学生吗？伦敦的人工智能是否要师从于密尔？它们中有哪一个能在今天的社会里完美地生存下来呢？今天的伦理道德有多少条在五十年后依然成立呢？

停一下吧。也许是我们太过傲慢了。连我们人类自己都没有消灭谋杀和战争，都没有找到真正的道德之本和幸福之源，都要在每一分每一秒的日常中犹疑、挣扎和懊悔。那么凭什么认为我们创造的超级AI，比我们更加聪明也更加不可预测的AI，能从我们这里学到完美的答案呢。

时间，平等，沟通和爱

也许是时候退一步了，想想我们现实中最伟大、又离我们最近的那个无处不在的“人工智能”。孩子。我们是怎么教会孩子不要把我们都杀掉的呢？

我们用十八年甚至更久的时间和他们相处，缓慢而逐渐地影响他们的世界和心智。

我们从开始的居高临下教导一步步走向平等，最终把他们看做和我们一样的人。

我们不间断地与他们沟通，聆听他们的困惑，帮助他们解决——往往也帮助了自己。

我们爱着他们。他们也爱着我们。

这也许