注：随着越来越多的东西依赖于越来越难以捉摸的人工智能（AI），发现后者的缺陷就显得越来越重要，此文中的黑箱研究就越来越必不可少。

上面的图案是什么？很简单的黄黑间条嘛。不过如果你问问最先进的人工智能，它给出的答案会是校车，而且99%地肯定。但AI错了。

诚然，现在的计算机图像识别技术已经非常先进。比方说，下面这幅图AI虽不能识别出这是一条戴着墨西哥帽的吉娃娃狗（说实话有的人也未必能认出），但是起码能识别出这是一条戴着宽边帽的狗。但是怀俄明大学进化人工智能实验室最近的一项研究却表明，这些AI未必总是那么灵光，就像开篇的例子那样，最先进的AI把这些随机生成的简单图像当成了鹦鹉、乒乓球拍、百吉饼或者蝴蝶。

这一发现迫使我们承认一个明显但重要的事实：即计算机视觉和人类视觉并不一样。而且鉴于我们日益依赖神经网络去训练计算机识别图像的，究竟计算机是怎么想的连我们人类都不知道了。

用进化算法欺骗AI

▲进化算法生成的随机图像，图像下方的文字是AI识别出来的对象。

要想弄清楚这些自我训练的算法的聪明之处，方法之一正是看看它们的愚蠢之处。研究人员决定看看最先进的图像识别神经网络是不是容易受到主动错误信息的影响。比方说这些神经网络能认出猫来，那是不是也会把别的东西认成猫呢？

为此，研究人员利用进化算法生成随机图像作为视觉诱饵。他们首先利用程序生成一幅图像，然后对图像进行略微的改变。接着把原图和略微修改后的图一并提交给基于ImageNet训练的神经网络。如果修改过的图被AI认为比原图更接近某个对象，研究人员就保留修改过的图，然后重复此过程。否则的话就回退重试。这样下来的结果就是最好看者生存—或者说，是计算机最能识别的的图像存活了下来（而非最合适者—原图）。

最后该技术生成了数十幅神经网络的确信度超过99%的图像。它们有的是蓝橙相间的波浪线，有的是黄黑间条纹等等，可在AI眼里，它们却是海星（star fish）和校车（SChool bus）。

黑箱配对

AI为什么会上当呢？有些情况是可以理解的。比方说，眯着眼睛看的话，校车（SChool bus）的确看起来像是黄黑间条纹。类似地，随机生成的“君王蝴蝶”的确看起来像是蝴蝶翅膀，而被认作“滑雪面罩（ski mask）”的图像的确看起来像一幅夸张的人脸。

但是，研究人员还发现AI通常还会被纯静态的图像愚弄。采用一种略微不同的进化技术之后，研究人员生成了另一组图像（下图）。这些图像在人眼看来几乎都是一样的，就像是一台坏掉的电视上的图像。但是在最先进的神经网络眼里，这些却是蜈蚣（centipede）、猎豹（cheetah）、孔雀（peacock）等等。

在研究人员看来，神经网络似乎形成了各种有助于识别对象的视觉线索。这些线索有些是人类熟悉的（如校车的例子），有些则不然。上图中例子说明至少在某些时候这些线索是颗粒度很细的。也许经过训练后，神经网络把一连串的“绿色绿色、紫色、绿色”像素视为孔雀看见的模式了。所以当随机生成的图像正好也产生了同样的像素系列后，AI就把它当作是孔雀了。这说明AI也许针对每一种对象都推理出了若干的线索，并认为通过这些线索足以识别出某一对象。

当然，人类精心制作这些图像来愚弄AI也说明了一个问题，即神经网络的规模和复杂性已经超出人类的理解范畴—哪怕我们知道AI能识别图像，但对它们如何识别图像却并不知晓。

类似的研究其目的正是想通过逆向工程的方法推导出AI的模型，找出人工智能的学习思路。虽然仍不甚了了，但最近两年的黑箱研究已能管中窥豹。

AI的眼光有问题有问题吗？

当研究人员把研究结果提交给神经信息处理系统大会进行讨论时，专家形成了泾渭分明的两派意见。一组人年纪略大，领域经验更丰富，他们认为这个结果是完全可以理

关注天下网吧微信,了解网吧网咖经营管理，安装维护: