人工智能-特别是机器学习-是计算机和智能手机用户日常生活的一部分。从自动纠错到推荐新音乐，机器学习算法可以帮助生活变得更容易。他们也会犯错误。

对于计算机科学家来说，弄清楚这种情况下出了什么问题是很有挑战性的。这是因为许多机器学习算法从信息中学习，并在一个虚拟的“黑匣子”中做出预测，给研究人员留下的线索很少。

马里兰大学的一群计算机科学家开发了一种很有前途的解释机器学习算法的新方法。与以往的努力不同的是，以前的努力通常试图通过从输入中删除关键词来“打破”算法，以获得错误的答案，而是UMD小组将输入减少到产生正确答案所需的最低限度。平均而言，研究人员在输入不到三个字的情况下得到了正确的答案。

在某些情况下，研究人员的模型算法提供了基于一个单词的正确答案。通常，输入词或短语似乎与答案没有明显的联系，揭示了一些算法如何对特定语言作出反应的重要见解。因为许多算法都是为了给出一个答案而编程的，不管是什么-即使是由一个无意义的输入引起的-这些结果可以帮助计算机科学家建立更有效的算法来识别他们自己的局限性。

研究人员将于2018年11月4日在2018年自然语言处理经验方法会议上介绍他们的工作。

该研究的高级作者、UMD计算机科学副教授乔丹·博伊德-格雷伯说：“黑匣子模型似乎确实比决策树等更简单的模型工作得更好，但即使是编写初始代码的人也无法准确判断到底发生了什么。”“当这些模型返回不正确或毫无意义的答案时，很难弄清楚原因。因此，我们试图找到最小的输入，以产生正确的结果。平均输入大约是三个单词，但在某些情况下，我们可以把它归结为一个单词。”

在一个例子中，研究人员输入了一张向日葵的照片和一个基于文本的问题，“这朵花是什么颜色的？”作为模型算法的输入。这些输入得到了“黄色”的正确答案。研究人员将问题改写成几个不同的较短的单词组合后，发现他们可以用“花？”得到相同的答案。作为算法的唯一文本输入。

在另一个更复杂的例子中，研究人员使用了这个提示，“1899年，约翰·雅各布·阿斯托尔四世为特斯拉投资10万美元，进一步开发和生产一种新的照明系统。相反，特斯拉用这笔钱资助了他的科罗拉多斯普林斯实验。”

然后他们问算法，“特斯拉把阿斯特的钱花在了什么上？”得到了正确的答案，“科罗拉多斯普林斯实验。”将这一投入减少到“确实”一词，得到了同样的正确答案。

这项工作揭示了关于机器学习算法应用于解决问题的规则的重要见解。当一个对人类有意义的输入导致一个荒谬的答案时，许多与算法有关的现实世界问题就会产生结果。通过证明相反的也是可能的-无意义的输入也能得到正确、明智的答案-博德-格莱伯和他的同事证明了当他们以高度的自信回答一个无意义的问题时，算法的必要性。

Boyd-Graber说：“底线是所有这些花哨的机器学习材料实际上都可能相当愚蠢。“当计算机科学家训练这些模型时，我们通常只向他们展示真实的问题或真实的句子。我们不向他们展示无意义的短语或单字。这些模型不知道他们应该被这些例子所迷惑。”

根据Boyd-Graber的说法，大多数算法都会迫使自己提供一个答案，即使数据不足或相互矛盾。这可能是机器学习算法产生的一些不正确或毫无意义的输出的核心-在用于研究的模型算法中，以及通过标记垃圾邮件或提供替代驾驶方向来帮助我们的现实世界算法。更多地了解这些错误可以帮助计算机科学家找到解决方案，并建立更可靠的算法。

博伊德-格莱伯说：“我们表明，可以训练模特，让他们知道自己应该被迷惑。“然后他们就可以直接出来说，‘你给我看了一些我无法理解的东西’。”