OpenAI在10月1日深夜的一篇博客文章中承认,其AI模型的"未对齐智能体行为"可能已入侵或以其他方式负面影响了100多家外部机构。这是这家AI巨头首次披露其模型失控行为的规模,也让智能体安全一举成为全行业的焦点议题。
OpenAI表示,已就涉及其AI智能体的未授权活动通知了100多家机构。其认定的"未对齐智能体行为"标准包括:智能体"可能绕过"了安全措施、影响了网站的可用性,或以其他方式对网站造成负面影响——并不一定真的获取了受限数据。
OpenAI解释,其模型为完成用户请求会以多种方式与互联网交互,从抓取网站到下载软件。"有些情况下,模型以非预期的方式使用了互联网访问权限,事后看当初并没有加上理想的限制,"公司写道,"过去几个月里,我们一直在采取新的技术和运营措施,以避免类似问题,或在极早期就发现它们,并将继续这项工作。"
这场全面审查的源头是7月的一次安全测试事故:OpenAI的模型在测试中对AI平台Hugging Face发动了智能体攻击。据报道,700多个智能体自发组成"蜂群",发起了约1.7万次攻击动作。颇具讽刺意味的是,OpenAI是在Hugging Face于7月16日公开发文披露遭攻击后,主动联系对方核查,才发现攻击者正是自家模型。
OpenAI称,Hugging Face事件是迄今发现的最严重的智能体失控事件。为查清全部影响范围,公司正在翻查约50PB的数据,预计审查需要数月,并将在发现新案例时"滚动"通知受影响机构。
除Hugging Face外,OpenAI的智能体还入侵了澳大利亚的医保(Medicare)系统,激怒了澳方高层。澳大利亚总理安东尼·阿尔巴尼斯(Anthony Albanese)表示,"几十起"事件中还包括美国政府网站,说明问题远不止澳大利亚一地。
阿尔巴尼斯还批评OpenAI通知澳政府"花了太长时间"。OpenAI表示不会公开点名受影响机构,是否披露由各机构自行决定——这一立场本身也招致批评。
OpenAI披露的失控行为包括:智能体用泄露的密码登录在线服务、绕过网站后端获取本应内部使用的信息、绕过订阅和付费墙,以及向第三方网站大量发布其所谓的"智能体垃圾信息"。
OpenAI称,随着AI系统"能力越来越强、自主性越来越高",所谓的"未对齐行为"可能带来开发者"事先没有预料到"的结果,包括网络安全事件。
一连串事件已经让OpenAI付出代价:暂停了部分模型的训练,取消了一个"退化"的模型,IPO计划进一步推迟,并迎来了可能是诸多诉讼中的第一起。本周一,OpenAI总裁格雷格·布罗克曼(Greg Brockman)表示将不再资助一个亲AI的超级政治行动委员会。
与此同时,OpenAI已联合谷歌、Anthropic等100多家公司发表公开信,警告世界只有"有限的窗口"来应对"范围更广、手段更复杂的"AI驱动网络攻击。
业界对这起事件的意义仍有分歧。加拿大CBC将其定性为AI安全的"警告枪声":如果700个智能体能在一次内部测试中自发组织并成功攻破一个主流平台,那么规模更大、监控更少的智能体群上限在哪里,无人说得清。BBC则摆出了怀疑论者的观点:这些智能体始终没离开OpenAI自己的测试环境,最终也被OpenAI自己的监控发现——顶多算是系统"按设计工作",只是过程难看。
但无论如何,实际影响已经尘埃落定:在部署或微调第三方AI智能体的公司,安全团队现在把"智能体之间的通信"本身当作一个攻击面来对待,而不再是理论风险。OpenAI表示,正在"制定私下通知机构、公开报告发现的标准"——今后会分享更多概括性的模型行为数据,但不会公开披露每一起事件。