计算机正在学习识别具有接近人类能力的物体。但是康奈尔大学的研究人员发现，像人类一样，计算机可能会被视错觉所欺骗，这引起了安全隐患，并为计算机视觉的研究开辟了新途径。

康奈尔大学的研究生Jason Yosinski和怀俄明大学进化人工智能实验室的同事创造了对人类看起来像白噪声或随机几何图案的图像，但计算机很有信心地将其识别为常见物体。

Yosinski表示：“我们认为我们的结果很重要，原因有两个。” “首先，他们强调了基于现代监督机器学习的计算机视觉系统可能会被愚弄的程度，这在许多领域都具有安全隐患。其次，本文中使用的方法提供了一种重要的调试工具，可以准确地发现网络正在学习的工件。”

通过向计算机显示对象的照片以及对象名称，可以训练计算机识别图像。从同一个对象的许多不同角度来看，计算机会组装一种模糊模型，使它们都适合所有对象，并将匹配同一个对象的新图像。近年来，计算机科学家使用称为深度神经网络(DNN)的系统在图像识别方面取得了很高的成功，该系统通过在每次激活时增加内存中位置的值来模拟人脑中的突触。“深层”网络使用多层模拟神经元在多个抽象层次上工作：一个层次认识到一张图片是四足动物的图片，另一层则是猫的图片，另一层则将其缩小为“暹罗”。

但是计算机无法像人类那样处理图像。他解释说：“我们意识到神经网络并没有对产生消防车图像所必需的知识进行编码，只是对告诉消防车所必需的知识进行了编码。” 颜色斑点和线条图案可能就足够了。例如，计算机可能只说出带有黄色和黑色条纹的“校车”，或者说是重复的大致正方形的“计算机键盘”。

研究人员与机械和航空航天工程副教授霍德·利普森(Hod Lipson)在康奈尔创意机器实验室合作，研究人员利用DNN认为具有重要意义的特征对图像进行了“演变”。他们使用了两个在大规模图像数据库上经过训练的，广泛使用的DNN系统进行了测试。从随机图像开始，他们慢慢地对图像进行突变，将每个新版本显示为DNN。如果将新图像确定为比原始图像具有更高确定性的特定类别，则研究人员将放弃旧版本并继续对新版本进行变异。最终，这些图像被DNN识别，具有超过99%的置信度，但人类视觉无法识别。

“研究表明，有可能'愚弄'一个深度学习系统，从而它学习的东西不是真的，而是您想要学习的东西，”计算机科学教授塞缪尔·B·埃克特(Samuel B. Eckert)获认可的弗雷德·施耐德(Fred Schneider)说。计算机安全专家。“这可能是渎职者导致自动化系统对某些问题给出精心设计的错误答案的基础。Web上的许多系统都在使用深度学习来分析和从大量数据中得出推论。网络广告客户可以使用DNN来决定在Facebook上向您展示什么广告，情报机构可以使用DNN来确定特定活动是否可疑。”

Yosinski指出，恶意网页可能包含伪造的图像，以欺骗图像搜索引擎或绕过“安全搜索”过滤器。否则，面部识别系统可能会接受明显的抽象图像作为授权访问者。

在进一步的步骤中，研究人员尝试通过使DNN欺骗图像并对其进行标记来“重新训练” DNN。这产生了一些改善，但是研究人员说，即使是这些经过重新训练的新网络也经常会被愚弄。

Yosinski说：“图像识别领域在过去几年中发生了革命性的变化。” “ [机器学习研究人员]现在有很多有用的东西，但是我们所没有的，我们仍然需要的，是更好地了解这些神经网络内部的真实情况。”