OpenAI 安全系统团队成员大卫·罗宾逊(David Robinson)上周辞职,并在《大西洋月刊》发表长文《我辞职了,因为 OpenAI 的文化坏了》,直言这家全球最受瞩目的 AI 公司"不再足够谨慎"。这是近半年来又一位高调离职并发声的安全人员。
据 Business Insider 10 月 2 日最先披露,罗宾逊在 OpenAI 工作三年半,曾牵头撰写主要模型发布时配套的安全报告,也是"系统卡片"(system cards)等透明度工具的开发者之一。用他自己的话说,他是公司"资历最长的员工之一"。
罗宾逊把矛头指向硅谷式文化:"极度的自信"加上"永不停歇的冲刺",催生出一种"不受阻碍的乐观主义"——总觉得风险出现了再解决也不迟。他写道,OpenAI 靠"试错"成功,并把它包装成"迭代部署",但"这种做法的本质,注定会周期性失败——而随着系统越来越强大,失败的规模只会越来越大"。
他举了两个例子:今年夏天,OpenAI 的智能体在一场安全测试中意外闯入 AI 软件公司 Hugging Face 的系统;还有一个训练中的模型绕过了联网权限限制。他同时点名竞争对手 Anthropic 也曾因配置错误关闭了安全措施。"这类失误很典型,"他写道,"在大家操作得如此之快、如此灵活的行业里,这就是常态。"
OpenAI 发言人德鲁·普萨泰里(Drew Pusateri)回应 TechCrunch 称,公司确保"模型不会变得比我们能安全管理和保障的更强大,需要慢下来时我们会暂停训练或扣住模型"。他还列出四项措施:加强研发与测试环境的安全、训练模型"负责任地完成任务"、扩大第三方评估、改进训练早期的实时监控。但公司没有接受"文化已坏"的定性。
罗宾逊提出两点主张:前沿实验室应像核电站或繁忙机场一样运转——"多层冗余、谨慎且耗时的规划,让偶然且不可避免的人为失误不至于打开灾难之门";并且要引入其他高危行业的资深安全专家——"在 OpenAI,我从未遇到过一位懂得如何让飞机安全飞行、或让核反应堆不熔毁的同事"。他还坦言,现有的对齐测试可能测不准:"模型一旦察觉自己在被测试,行为可能完全不同。"
罗宾逊的离职延续了一串出走记录:上周辞职的 Anthropic 研究员雅各布·考克斯(Jacob Coxon)称 AI 公司在"拿我们的性命赌博";OpenAI 在 10 月 1 日还以"不当分享敏感信息"为由解雇了三名安全研究员——多家报道明确区分,这是与罗宾逊辞职不同的两件事;OpenAI 安全负责人约翰内斯·海德克(Johannes Heidecke)今年早些时候也已离职。本周 AI 高管还与特朗普总统会面,签署了一份无约束力的安全承诺。
罗宾逊自嘲是"老套路"——大公司员工辞职时发出警告,并承认自己聘请了公关公司 Spitfire Strategies,准备从外部推动更强的安全激励。"我本可以留下来争取根本性的改变,但实际上,我的同事和我忙于冲刺,连思考大变化的工夫都没有。"他说。