你比机器学习模型更聪明吗?让我们找出答案。选择与以下前提相矛盾的答案:

鲍勃有个妹妹叫萨拉。

如果你选择了C，恭喜你!

这样的例子可能看起来很简单，但它们似乎是机器理解语言的一个很好的指标。这种测试被称为“自然语言推理”，通常用来衡量一个模型理解两个文本之间关系的能力。可能的关系包含(如例A)、中立(B)和矛盾(C)。

由人类产生的包含数十万个此类问题的数据集，导致了解决自然语言推理的新神经网络体系结构的爆炸。这些年来，这些神经网络变得越来越好。目前最先进的型号在这些测试中通常只能得到相当于B+的分数。人类通常得A或A-。

但研究人员最近发现，当只给出答案(也称为假设)，而没有原始前提时，机器学习模型仍然表现得非常好。例如，一个只给出“鲍勃没有妹妹”的模型会猜测这是一个矛盾的假设，即使它没有给出“鲍勃有一个名叫萨拉的妹妹”的前提。

事实证明，这些数据集充满了人类的偏见。当被要求说出相互矛盾的句子时，人类通常会使用否定句，比如“don"t”或“nobody”。然而，依赖这些线索可能会导致机器学习模型错误地将“鲍勃没有车”贴上一个矛盾的标签。

“这些模型不是在学习理解文本之间的关系，而是在学习捕捉人类的特质，”论文第一作者、哈佛大学约翰·a·保尔森工程与应用科学学院(SEAS)计算机科学博士后约纳坦·贝林科夫(Yonatan Belinkov)说。

为了解决这个问题，Belinkov和他的同事开发了一种新的方法来建立机器学习模型，以减少模型对这些偏差的依赖。

研究小组将于7月28日至8月2日在意大利佛罗伦萨举行的计算语言学协会(ACL)第57届年会上介绍他们的研究成果。

将典型的自然语言推理测试建模为单一的流程是很常见的——前提和假设同时被处理，并被提供给一个预测矛盾、中立或隐含的分类器。

研究小组在模型中加入了第二个流，这个只有假设。该模型学习同时使用两种语言流执行自然语言推理，但如果它只在假设方面做得很好，就会受到惩罚。这种方法鼓励模型更多地关注前提，避免学习导致假设成功的偏差。

“我们的希望是，通过这种方法，这个模型不只是关注有偏见的词语，比如“不”或“不”，而是更深入地了解一些东西，”斯图尔特·希伯(Stuart Shieber)、詹姆斯·o·韦尔奇(James O. Welch, Jr.)和弗吉尼亚·b·韦尔奇(Virginia B. Welch)说。

然而，这些偏见也可能是解决问题的重要上下文线索，所以不要太贬低它们。

“偏见和有用性之间只有一线之隔，”18岁的加布里埃尔·格兰德(Gabriel Grand)说，他在本科毕业论文中参与了这个项目。“达到最佳表现意味着忘掉很多假设，但不是全部。”

(Grand的论文《视觉问题回答的学习可解释和无偏见模型》荣获2018-2019年度托马斯·坦普尔·胡普斯杰出学术工作或研究奖。)

通过去除许多这样的假设，不出所料，两流模型在它所训练的数据上比没有因为依赖偏见而受到惩罚的模型表现稍差。然而，当在新的数据集上测试时——有不同的偏差——这个模型表现得更好。

“尽管该模型在自己的数据集上的表现要差几个百分点，但它已经学会不那么依赖偏见。”因此，这种方法产生的模型性能更一般，也更可靠。”

这种方法可能适用于一系列需要识别更深层次关系的人工智能任务，如视觉问题回答、阅读理解和其他自然语言任务，同时避免表面偏见。