征求对该出版物的评论，这是 NIST 开发值得信赖的 AI 努力的一部分。为应对人工智能 (AI) 偏见可能损害人们的生活和公众对 AI 信任的通常有害影响，标准与技术研究院 (NIST) 正在推进一种识别和管理这些偏见的方法——并且正在请求公众帮助改进它。

NIST 概述了识别和管理人工智能偏见的提案(NIST 特别出版物 1270)，这是一份新出版物，是该机构支持可信赖和负责任的人工智能发展的更广泛努力的一部分。NIST 将在 2021 年 8 月 5 日之前接受对该文件的评论，作者将利用公众的回应来帮助制定 NIST 将在未来几个月内举行的几项协作虚拟活动的议程。这一系列活动旨在让利益相关者社区参与进来，让他们能够提供反馈和建议，以降低人工智能中的偏见风险。

“管理 AI 中的偏见风险是开发值得信赖的 AI 系统的关键部分，但实现这一目标的途径仍不清楚，”该报告的作者之一 NIST 的 Reva Schwartz 说。“我们希望让社区参与制定自愿的、基于共识的标准，以管理人工智能偏见并降低其可能导致的有害结果的风险。”

人工智能已成为一种变革性技术，因为它通常可以比人类更快、更一致地理解信息。人工智能现在在从疾病诊断到我们智能手机上的数字助理的方方面面都发挥着作用。但随着人工智能应用的增长，我们也意识到它的结果可能会被它所提供的数据中的偏差所抛弃——数据不完整或不准确地捕捉到现实世界。

此外，一些人工智能系统的构建是为了对复杂的概念进行建模，例如“”或“就业适宜性”，这些概念最初无法直接衡量或通过数据捕获。这些系统使用其他因素，例如居住地区或教育水平，作为他们试图建模的概念的代理。代理数据与原始概念的不精确关联可能会导致有害或歧视性的 AI 结果，例如错误逮捕，或合格的申请人被错误地拒绝工作或贷款。

作者提出的用于管理偏见的方法涉及认真努力，以识别和管理 AI 系统生命周期中不同阶段的偏见，从最初的概念到设计再到发布。目标是让来自技术部门内外的许多团体的利益相关者参与进来，让传统上没有听到的观点成为可能。

“我们当然希望将 AI 开发人员社区聚集在一起，但我们也希望让心理学家、社会学家、法律专家和来自边缘化社区的人们参与进来，”NIST 的 Elham Tabassi 说，他是 AI 研究资源工作组的成员。“我们希望从受 AI 影响的人那里获得观点，包括创建 AI 系统的人和未直接参与其创建的人。”

NIST 作者的准备研究涉及文献调查，其中包括同行评审的期刊、书籍和流行新闻媒体，以及行业报告和演示文稿。它表明，偏见可能会在人工智能系统的各个发展阶段蔓延到人工智能系统中，其方式通常因人工智能的目的和人们使用它的社会环境而异。

“人工智能工具通常是为一个目的而开发的，但随后它会在其他非常不同的环境中使用，”施瓦茨说。“许多 AI 应用程序也没有经过充分测试，或者根本没有在它们预期的环境中进行测试。所有这些因素都可以让偏见不被发现。”

因为团队成员认识到他们没有所有的答案，Schwartz 说获得公众反馈很重要——尤其是来自开发者社区之外通常不参与技术讨论的人。

“我们希望从受人工智能影响的人那里获得观点，包括创建人工智能系统的人和未直接参与其创建的人。” – 埃勒姆·塔巴西

“我们知道偏见在整个人工智能生命周期中都很普遍，”施瓦茨说。“不知道你的模型哪里有偏见，或者假设没有偏见，会很危险。确定识别和管理它的方法是至关重要的下一步。”