
麻省理工学院媒体实验室的 Pattie Maes 让 200 个人看了 24 张普通照片:一场婚礼、一条街、一场赛跑。休息之后再放一遍,一半人看到原图,另一半看到 AI 改过的版本——表情被换掉,人群里多出穿军装的人,街边多出气候变化的痕迹。随后的记忆测试里,看过改图的人记住了原图没有的细节,且确信度高于对照组。
实验设了四种条件:原图、AI 修改的静态图、AI 生成的视频,以及用改过的图再生成的视频。200 人被随机分进不同条件,测试只问一件事:刚才那张照片里有什么。
Maes 对《华盛顿邮报》说。让她不安的不是有人被骗——多数参与者知道素材可能被动过——而是错误记忆自带确信感。一个细节一旦被编进自己的叙述,靠"再想想"很难剔出去。
按 MIT 媒体实验室公布的数据,改图叠加视频的那一组,错误记忆发生率是对照组的 2.05 倍;对这些错误记忆的确信程度,比对照组高 1.19 倍。
对照条件里,同一批照片、同样间隔、同一套题,唯一变量是第二遍看到的东西有没有经过生成模型。
同一团队还做了模拟犯罪目击实验:参与者看完一段案发过程,再接受生成式聊天机器人提问。机器人组的错误记忆是对照组的三倍以上;该条件下 36.4% 的回答被引向错误信息。
笔录、理赔问话、采访,越来越多环节把"提问"交给模型,而提问方式本身就在暗示答案。
乔治城大学与华盛顿大学的团队提供了另一条证据链,主角是摘要。研究者让 OpenAI 的 ChatGPT 和谷歌 Gemini 概括一段动画交通事故,平均漏掉 51.6% 的关键情节,95% 漏掉了全片最要紧的一幕——汽车撞上过街行人。
随后,331 名参与者读这些摘要。读到准确版本的人,83.6% 能正确记住路口是停车标志还是让行标志;读到误导版本的人,只剩 44.8%。
论文第一作者、乔治城大学 Massive Data Institute 助理研究教授 Mattea Sim 说:"AI 是一种新的误导投递方式,它有能力给读这些信息的人造出虚假记忆。"她主张认真而批判地追问:AI 是否该、以及该如何用于摘要,"尤其是在高风险场景"。该论文将在 10 月的第九届 AAAI/ACM 人工智能、伦理与社会会议(AIES)上报告。
最反直觉的是:标注"由 AI 生成"并不能保护记忆。参与者被随机告知摘要出自 AI 或出自专业人类速记员,两种提示下的记忆扭曲没有实质差别;对 AI 的总体信任、使用熟悉度,也不构成缓冲。
这直接顶掉了流行的"人在环路里"说法。在这套设计里,人不是纠错环节,人正是被改写的那一环。
记忆不是录像带,而是每次回想时重新拼装的叙述。Elizabeth Loftus 早就证明,事后一句误导提问,足以让目击者把"让行"记成"停车"。
AI 把这件事工业化:几秒钟内生成大量清晰、具体、可对话的"事后信息"。图像和视频的生动感让它比文字更容易被归档为亲历——Maes 实验里视频条件效果最强,正说明这一点。
据 Yahoo News 报道,OpenAI 与 Meta 的技术专家 10 月中旬在波士顿向美国司法会议的证据规则咨询委员会作证:合成音视频已逼真到"这段证据是不是真的"越来越难回答。该委员会为此已工作三年。
风险是双向的。伪造内容可能被当成真证据;真实监控也可能被一句"这是 AI 做的"轻易否掉,法学界称之为"骗子的红利"。当证人的记忆先被一段 AI 摘要污染,取证链条上就多了一个看不见的污染源。
去年发表于《应用认知心理学》的研究发现,深度伪造视频与 AI 生成文字都能让人对完全虚构的政治丑闻产生记忆,甚至压低投票意愿(Gizmodo 报道)。另一项实验里,近一半参与者"记得"看过并不存在的电影翻拍,包括威尔·史密斯主演的《黑客帝国》。
研究者同时提醒:深度伪造并不总比文字更有效。文字便宜、量大、易本地化,已经够用。
平台侧的补丁正在打,漏洞也明显。一份针对四家主要平台的审计(arXiv 预印本《Drowning in AI Slop》)发现,系统性风险语境下由专家识别的深度伪造,只有 33% 带上了平台自动添加的 AI 标签,而这些内容的浏览中位数达 16 万次。
内容凭证被寄予厚望——拍摄即签名,改动留痕。但存心欺骗的人不会签名。
更朴素的做法:高风险场景保留原始素材与操作记录,让摘要、笔录、AI 辅助结论都能回溯到未加工的源头;把 AI 摘要从"事实来源"降级为"待核对的线索"。Maes 的实验室走得更远,已经在做 Memoro、MemPal 这类可穿戴记忆助手,替人记住对话、找回物品。同一套技术,能替人记住,也能替人记错。这才是最让人不安的地方。