加州理工学院的研究人员证明，机器学习算法可以监控在线社交媒体对话的发展，这有一天可能会导致一种有效且自动化的方式来发现在线巨魔。

该项目将人工智能(AI)研究人员Anima Anandkumar(布伦计算和数学科学 教授)和政治学教授Michael Alvarez的实验室联合起来 。他们的工作于12月14日在加拿大温哥华举行的2019年神经信息处理系统会议上的AI for Social Good研讨会上进行了介绍。他们的研究团队包括博士后学者刘安琪。加州理工学院的大三学生Maya Srikanth;斯坦福大学的Nicholas Adams-Cohen(MS '16，PhD '19)。

阿尔瓦雷斯说：“这是我对加州理工学院的最爱之一：跨越界限，发展社会科学与计算机科学之间的协同作用的能力。”

要防止在线骚扰，需要快速检测到令人反感的，骚扰的和负面的社交媒体帖子，进而需要监视在线互动。当前获取此类社交媒体数据的方法是完全自动化且无法解释的，或者依赖一组静态的关键字，而这些关键字很快就会过时。斯里坎特说，这两种方法都不是很有效。

她说：“让人类尝试手工完成这项工作是不可扩展的，而这些人类可能有偏见。” “另一方面，关键字搜索受到在线对话发展速度的困扰。新术语出现了，旧术语改变了含义，因此真诚地使用一天的关键字可能在第二天被讽刺。

取而代之的是，该团队使用GloVe(全球单词表示向量)模型来发现新的相关关键字。GloVe是一个词嵌入模型，意味着它代表向量空间中的词，其中两个词之间的“距离”是其语言或语义相似性的量度。从一个关键字开始，此模型可用于查找与该单词密切相关的其他关键字，以揭示实际使用的相关术语的群集。例如，在Twitter中搜索对话中对“ MeToo”的使用，产生了一系列相关的标签，例如“ SupportSurvivors”，“ ImWithHer”和“ NotSilent”。这种方法为研究人员提供了一个动态且不断发展的关键词集来进行搜索。

但是仅仅知道某个对话是否与感兴趣的话题有关还不够。上下文很重要。为此，GloVe显示了某些关键字的关联程度，提供了有关其用法的输入。例如，在一个专门针对厌女症的在线Reddit论坛中，“女性”一词与“性”，“消极”和“性交”密切相关。在有关#MeToo运动的Twitter帖子中，“女性”更可能与“公司”，“欲望”和“受害者”相关。

该项目是一种概念证明，旨在有一天为社交媒体平台提供一种更强大的工具，以发现在线骚扰。Anandkumar参与了将“神经信息处理系统”会议的简称从其首字母缩写“ NIPS”更改为“ NeurIPS”的活动，从而增强了对该主题的兴趣。

“人工智能研究领域变得越来越具有包容性，但总有人抵制变革。”阿南德库玛尔说。他在2018年发现自己成为网上骚扰和威胁的目标，因为她成功地尝试了使用首字母缩写词的努力，没有潜在的冒犯性含义。 。“关于如何获得丑陋的巨魔，这真是令人大开眼界。希望我们现在正在开发的工具将有助于将来应对各种骚扰。”