国外媒体报道，经过几十年发展，人工智能已经从科幻小说里的一个概念，变成了当今科技发展的主流。苹果的语音控制系统Siri、亚马逊的智能助手Alexa、IBM的沃森超级电脑、谷歌大脑等等，能够理解这个世界并且给出高效反馈的智能机器似乎就在眼前。

强大的互联网接入和计算机运算法则让机器在理解人类语音、视频信息的方面取得了飞跃性的进步，也逐渐向真正的人工智能迈进。AI(Artificial Intelligence)，可实现自动响应的人工智能产品距离我们还远吗？如何让他们保持不断自我更新升级但是依然保持人类可控范围内？

这个问题给人们带来普遍的担心和焦虑。“我认为人工智能的发展最终会导致人类族群的灭绝，”物理学家斯蒂芬·霍金接受BBC的采访给出了这样的观点。特斯拉的创始人埃隆·马斯克把AI称为“人类最大的潜在威胁”。微软前总裁比尔·盖茨也表示过类似的担忧。

有多少担忧是必要的？问题有多紧迫？我们聚集了多位工业、科研、政策决策领域的专家，一起评估人工智能的发展风险。参加此次话题讨论的包括Skype创始人之一、人类未来发展潜在风险研究院的智库成员——Jaan Tallinn，IBM的沃森超级电脑研究院负责电脑认知研究的专家——Guruduth S. Banavar，帕多瓦大学计算机系教授、哈佛大学拉德克利夫高级研究所研究院和聚集最多AI研究者的国际人工智能研究协会主席——Francesca Ross。

以下是经过编辑整理的专家谈话内容。

危险究竟是什么？

记者：人工智能会对人类造成哪些威胁？

Banavar：受科幻小说、电影的影响，人工智能带来的威胁主要是人类与机器之间的矛盾冲突，这个观点其实是错误的。人工智能在某些领域能够比人类更出色地解决问题，比如大数据筛选。然而，某些人类擅长的领域里，机器的表现非常糟糕。比如常识推理、提出精彩的问题以及“跳出来”想问题。人类和机器的结合体，既我们研究的计算机认知能力的基础，是对解决各个领域的复杂问题的革命性的设想。

以人工智能为基础的系统已经在很多方面为我们的生活提供了便利：股票自动交易系统、自动飞行控制系统、工业流水作业机器人、错误检测和搜索引擎...在过去的5-10年间，计算机运算法则和先进的计算机架构让我们开发出了很多新应用。

然而需要认识到，计算机运算法则已经被运用到极致。要实现更大的进步，则需要引入更多复杂的符号系统——这是个很高的要求。今天我们的神经科学和认知科学研究，对于人类智能的研究也只是掌握到皮毛。

我个人的观点是，能够达到人类水平，实现一般感知、推测的人工智能机器只是个娱乐话题。

TALLINN：今天的人工智能不可能对人类构成威胁。如果我们要讨论人工智能的长远影响，（也就是人工智能能够比人类更好地完成策略、科学、人工智能研究的时候。）我们就要涉及到控制超级智能的问题。

记者：什么是超级智能控制问题？

TALLINN：现在最先进的机器人也存在一个能够让人类实现完全控制的“关机键”。然而，“关机键”发挥作用的前提是它在机器人的工作领域之外。举个例子，一个会下棋的电脑工作领域仅限于与人对弈，它并不会觉察到它的人类对手可以拔掉它的电源终止游戏。

然而，超级智能机器，经过有意或者无意的程序设定，能够全面的了解周围世界并且对于有人可以动他们的“关机键”的后果作出预测，人类就很难再控制它。

记者：这个问题有多严重？

TALLINN:目前这还只是理论上的推测。但是需要谨慎的认识到，超级智能机器可能会仅仅受控于物理学定律和人们给早期智能机器人设定的程序。

早期的程序是基于我们十分有限的物理学知识设计的。想象一下，如果面对一个智能机器人，我们给出的指令是“为人类创建更伟大的未来”时，我们最好能够十分确定它会做出怎样的反应。

ROSSI：在很多具体的领域，人工智能的表现已经超越人类，其中就包括一些涉及精确判断的领域。目前，人工智能并未威胁到人类，但是人类已经受到机器判断的影响，如线上自动交易系统，健康检查系统以及很快就将普及的无人驾驶汽车和无人操控武器。

我们需要明确了解分析人工智能在具体领域内存在的潜在威胁，既让它们发挥作用，又要确保它们能够安全、友好、按照人类价值观运转。这并不是个简单的课题，因为即使是人类，在大多数时间里都无法遵照自己设定的原则行动。

给日常生活带来的影响

记者：人工智在具体领域会给人类带来怎样的威胁？

ROSSI: 比如自动交易系统，机器给出的一个错误的决策会给很多人带来经济损失。无人驾驶汽车的失误也会给人类带来生命安全的威胁。

记者：应该怎么看待这些风险？

BANAVAR: 任何风险都有两面性：做这件事的风险和不做这件事的风险。我们已经有很多基于信息不完全、专业人士的不专业做出的错误决定，造成数千人死亡，上百万美金损失以及在诸如医疗等核心领域缓慢的发展状况。基于IBM沃森超级电脑在很多领域的应用经验，我认为，在具体领域上，人工智能能够有效的降低风险。

然而对于全面人工智能领域，我持有谨慎的观点。我认为我们一直低估了这个问题的复杂性。我们有太多未知未知了。

记者：IBM采取哪些措施来降低人工智能技术风险？

BANAVAR: IBM的计算机认知系统，和其他现代计算机系统一样，是基于云计算结构，运算法则和大量数据构建的。为了防止违规现象出现，这些系统的运转是可以被记录、追踪和审查的。这些认知系统不是自主运转，所以他们的指令、数据、结构需要我们采取一定保护措施来防止人为的外部攻击。任何接入、更新系统的人都是可控的。

我们主要通过复杂的加密和数字签名来保护数据，通过漏洞扫描和其他技术手段保护运算代码，通过隔离等手段保护计算机结构。

这些支持人工智能安全运行的政策是基于对风险的深度分析设计的。这些政策需要经过安全和交易委任,管理销售和公共安全提供的委员会(SEC)、食品及药物管理局(FDA)以及美国国家标准技术研究院(NIST）这些各自领域内负责设定安全标准的机构审查。

记者：沃森超级电脑正在帮助医生解决医疗难题。它能够对自身失误造成的医疗伤害负责吗？

BANAVAR: 沃森超级电脑不会给出诊断意见。它通过处理大量患者医疗数据为医生提供多种处理建议。医生会考虑沃森提出的建议并综合分析其它因素做出最终的治疗判断。

ROSSI: 医生也在一直犯错，主要原因在于他们无法完全掌握关于某种疾病的全部信息。像沃森电脑这样的系统，能够帮助他们减少失误。

TALLINN: 曾经一项研究把医生和医疗自动诊断系统作比较。结论是，大多数医生输给了电脑。

BANAVAR：我认为，沃森电脑提供更加完备的医疗建议是十分有益的。我很希望有机会让它为我做诊断。

对人类的影响

记者：有些专家认为人工智能以及抢了一些人类的饭碗，你们同意吗？

TALLINN: 科技进步确实会让一些工作岗位消失。有一位Uber司机曾经兴奋地向我介绍他是如何把目的地输入到平板电脑上，得到行程路线的。我告诉他，几年之后，可能来是这些科技小物件把我送到目的地。司机高兴地说，到时候他就更省事了，坐在驾驶座上享受就可以了。坐在后排的我却不住摇头。我认为，无人驾驶汽车给人类带来的最大影响不是便利，而是消失的工作岗位。

长远看来，除了工作以外，还应该设想一下，我们的社