NIST推出新平台评估生成式人工智能

美国国家标准与技术研究院(NIST)是美国商务部机构，负责为美国政府、公司和更广泛的公众开发和测试技术。周一，NIST宣布推出NIST GenAI计划，这是由NIST领导的一个新项目，旨在评估生成式人工智能技术，包括文本和图像生成AI。

NIST GenAI将发布基准测试，帮助创建“内容真实性”检测系统(即deepfake检测)，并鼓励开发软件来识别虚假或误导性AI生成信息的来源，NIST在新推出的NIST GenAI网站和新闻稿中解释道。

“NIST GenAI计划将发布一系列挑战问题，旨在评估和衡量生成式人工智能技术的能力和限制。”新闻稿称。“这些评估将用于确定促进信息完整性的策略，并指导数字内容的安全和负责任使用。”

NIST GenAI的第一个项目是进行一个试点研究，建立能够可靠区分人类创作和AI生成媒体的系统，起初以文字为主。(虽然许多服务声称可以检测deepfake，但研究和我们自己的测试表明这些服务存在很大不确定性，尤其是在涉及文本时。) NIST GenAI正在邀请来自学术界、行业和研究实验室的团队提交“生成器”—用于生成内容的人工智能系统—或是“鉴别器”，设计用于识别AI生成内容的系统。

在研究中，生成器必须根据一个主题和一组文档生成250字或更少的摘要，而鉴别器必须检测给定摘要是否可能是由AI编写的。为确保公平性，NIST GenAI将提供测试生成器所需的数据。NIST表示，基于公开数据进行训练的系统，如果不遵守适用法律法规，将不会被接受。

试点注册将于5月1日开始，首轮计划在8月2日结束。预计研究的最终结果将于2025年2月公布。

NIST GenAI的推出和专注于deepfake的研究是因为由人工智能生成的误导性和虚假信息的数量呈指数级增长。

根据深度假视频检测公司Clarity的数据，今年制作和发布的深度假视频比去年同期增加了900%。这引起了人们的担忧。YouGov最近的一项调查发现，85%的美国人担心在线传播误导性的deepfake。

NIST GenAI的推出是NIST对拜登总统关于人工智能的行政命令的回应的一部分，该行政命令规定要求人工智能公司更加透明地披露其模型的工作原理，并为标记由人工智能生成的内容制定了一系列新的标准。

这也是NIST在任命前OpenAI研究人员Paul Christiano为该机构人工智能安全研究院负责人之后的第一个人工智能相关公告。

Christiano因其“悲观主义”观点而备受争议；他曾预测“人工智能发展有50%的可能性会以人类的毁灭结束”。有报道称，包括NIST内的科学家在内的批评者担心，Christiano可能会鼓励人工智能安全研究院专注于“幻想情景”，而不是来自人工智能的更现实、更直接的风险。

NIST称，NIST GenAI将影响人工智能安全研究院的工作。