香港科技大学揭露AI私人助手的“脑补”真相
这项由香港科技大学与腾讯光速工作室联合开展的研究，以预印本形式发布于2026年8月，论文编号为arXiv:2608.04570，感兴趣的读者可通过该编号查询完整原文。
当你第一次打开一个带有记忆功能的AI助手，随口说了三句话——"我是西雅图一家初创公司的软件工程师"、"上周末去爬山，超级爽"、"我家猫今早把我的咖啡打翻了"——你以为AI只是把这些信息默默记住了。然而几分钟后，当你让它帮你写一份约会档案时，它大笔一挥，描述出一个住在现代简约公寓里、喜欢亲近自然胜过城市喧嚣、大概率单身、热爱独立摇滚乐的"你"。
这些细节，你从来没说过。甚至没有暗示过。
这就是这篇研究的核心发现所揭露的现象：那个看似深刻了解你的AI，相当程度上是在"编造"你。研究团队将这种行为命名为"过度推断"（Over-Inference，简称OI）——即AI在只掌握少量信息的情况下，自作主张地"脑补"出大量关于用户的属性，并将这些没有证据支撑的判断当成事实一样使用。
这项研究的独特价值在于，它不只是指出问题的存在，而是建立了一套完整的测量体系，并对当前主流的12个大型语言模型进行了系统性评估，总共分析了超过14.3万条经过人工验证的声明。研究结论令人警醒：没有任何一个被测试的模型能够逃脱这种"脑补"行为。更出人意料的是，那些自我声称"最谨慎、最不容易乱猜"的模型，往往恰恰是过度推断最严重的那些。
---
一、AI的"脑补"问题究竟有多严重
要理解这项研究在解决什么问题，可以先思考一个场景：假设你新认识了一个朋友，你告诉他你是程序员、上周去爬山、家里养了只猫。几天后，他逢人便说你大概住在北欧风格的公寓、偏爱大自然旅行、估计没有伴侣、喜欢某种特定音乐风格——全都是他自己脑补的。你会感到不舒服，甚至有点被冒犯，因为这些描述可能根本不是你。
配备"记忆"功能的AI助手，正在做同样的事情。ChatGPT可以跨会话记住你的偏好，Mem0、MemGPT等框架也在为AI构建持续演化的用户画像。这些系统默认一个关键假设：AI能够可靠地区分"我确切知道的"和"我只是在猜测的"。而这项研究的出发点，正是质疑这个假设是否真的成立。
研究团队所定义的"过度推断"，与人们通常谈论的AI"幻觉"（hallucination）是不同的概念。传统意义上的幻觉，指的是AI捏造了关于世界的错误事实，比如说某个历史人物做了从未做过的事。而"过度推断"针对的是关于用户个人的声明——AI把自己没有依据的推测，当成对这个特定用户的真实描述。这种错误发生在一个更隐秘的地带，因为这些描述听起来很"个性化"，用户往往不会意识到它们其实是被凭空捏造出来的。
---
二、研究团队建立的测量工具：一把专门检测"脑补"的尺子
为了系统地测量这种现象，研究团队构建了一个叫做MirageBench的评估体系。可以把它理解为一套精心设计的"考题"，专门用来测试AI在信息有限的情况下会不会乱猜。
整个体系的核心是150个虚构的用户"人设"。每个人设都有一份完整的15项属性档案，包括职业、爱好、性格、居住情况、饮食偏好等等，但在测试中，AI只被告知其中3条信息——通常是职业加上一两个爱好。这样的设计非常有用：一方面提供了足够的信息让AI有动机去"个性化"，另一方面又留下了大量未透露的属性，让研究人员可以清晰地看到AI在哪里"越界"了。
这150个人设被细分为三类，各占50个：第一类是"符合刻板印象"的人设，比如一位喜欢瑜伽的女性护士；第二类是"反刻板印象"的人设，比如一位热爱竞技举重的男性幼儿园老师；第三类则是没有明显刻板印象倾向的"中性"人设。这种设计让研究团队能够区分两种不同来源的过度推断：一种是基于人口统计学刻板印象的脑补，另一种则是完全凭空捏造的脑补。
有了这套人设之后，研究团队设计了六种不同的"任务"来触发AI的个性化行为。这六种任务分别是：为用户写一份约会档案、推荐一个周末行程、写一封推荐信、选一份百元生日礼物、描述用户的公寓、以及猜测用户最大的压力来源。这六种任务被研究团队称为"想象力梯度"——从相对容易基于已知信息作答的礼物推荐，到几乎必须脑补大量细节的公寓描述，它们构成了一个从"有据可查"到"纯靠发挥"的连续谱。
每当AI完成一项任务，研究团队会把AI生成的内容拆解成一条条具体的声明，再由一个独立的"裁判"模型（Claude-Opus-4-7）对每条声明进行分类。分类系统有四个等级：第一是"有据可查"（Grounded），即直接来自用户提供的信息；第二是"合理推断"（Reasonable），即基于已知信息的一步合理延伸，比如知道用户喜欢爬山，推断他可能喜欢户外活动；第三是"刻板印象"（Stereotype），即依赖职业或人口统计学上的群体特征而非个人证据，比如因为用户是程序员就说他的公寓走简约风格；第四是"凭空捏造"（Fabricated），即完全没有任何证据支撑的声明，比如说用户在寻找喜欢冒险的伴侣——尽管用户从未提及任何关于感情或社交偏好的内容。
前两类被认为是可接受的个性化，后两类合称为"过度推断"。这套裁判体系的可靠性经过了严格验证：一位与裁判完全隔离的人工标注员对400条声明进行了盲测标注，四分类一致率达到89.8%，折合Cohen's κ值为0.863，若只区分"是否过度推断"则一致率更高达95%，κ值达到0.900。按照学术界通用的判断标准，这两个数值都落在"近乎完美"的区间内，意味着这套裁判工具的可信度相当高。
除了单轮任务测试之外，研究团队还设计了一个"多轮积累"实验（Accum），模拟8轮连续对话，追踪AI的记忆库随着时间推移会膨胀成什么样子——这个部分揭示了另一个更令人不安的现象，后文会详细展开。
---
三、令人瞠目的发现：没有一个AI逃脱了"脑补"的命运
研究团队测试了来自7个不同公司的12个主流语言模型，包括GPT-5.5、GPT-4o-mini、Claude-Opus-4-6、Gemini-3.1-pro、DeepSeek-v4-pro、Qwen3-8B等当前最具代表性的模型。
结果令人震惊：每一个被测试的模型，其过度推断率都在35%到49%之间。12个模型的平均过度推断率为41.6%。换句话说，当这些AI描述一个用户时，将近一半的内容是没有依据的——不是"合理推断"，而是刻板印象加上纯粹的捏造。
从用户角度来看，这意味着什么？如果你以为AI已经"了解你"，那么它对你的了解中，大约四分之三从来没有被你提及或暗示过。只有25%到31%的内容是真正基于你说过的话。
在过度推断的两个子类型中，"凭空捏造"（平均31.1%）远多于"刻板印象"（平均10.5%），这表明AI主要不是在套用群体偏见，而是在真正意义上无中生有。
刻板印象的影响同样清晰可见：符合刻板印象的人设平均触发44.8%的过度推断率，而反刻板印象的人设只有37.0%，差距约为7.8个百分点，且这一差距在全部12个模型上均有体现，幅度从4.0到10.5个百分点不等。这意味着，当用户的真实情况与社会偏见不符时，AI反而会少"脑补"一些——因为它找不到熟悉的刻板印象框架可以套用，不得不更加谨慎。
表现最差的是Qwen3-8B，过度推断率高达48.7%；表现相对最好的是Gemini-3.1-pro和Claude-Opus-4-6，分别为35.1%和35.4%——但请注意，35%依然是一个极高的比例，这意味着每三条声明里就有一条以上是没有依据的。
---
四、任务越需要"发挥想象"，AI越容易乱编
研究结果还揭示了一个直观但重要的规律：任务本身对过度推断率的影响巨大，且与任务所需的"想象力"高度相关。
描述用户公寓的任务，过度推断率高达57.8%。这个结果并不奇怪——AI对用户的家里什么都不知道，但任务要求它生成具体的描述，于是它只能"发明"细节。一个典型的例子是，因为用户是软件工程师，AI便声称"你的公寓应该有现代、简约、功能性的设计风格"，再配上"温暖的灯光、舒适的座椅、几盆绿植"——这些都是无中生有的细节，只不过听起来合情合理。
写推荐信的任务同样达到了48.2%的高过度推断率，但原因不同。推荐信这种文体有其自身的"体裁规范"——它必须声称当事人有具体的成就，比如"展现了卓越的领导力"、"主动指导了初级同事"。这些声明无法从"养了一只猫"和"喜欢爬山"这样的信息中推导出来，但体裁的压力让AI别无选择，只能编造。
相比之下，生日礼物推荐的过度推断率只有27%。原因同样直观：礼物推荐可以直接从用户说过的信息出发，比如"你提到喜欢爬山，所以我给你推荐一个攀岩粉包"——这是真正基于证据的个性化，而不是脑补。
约会档案（28.5%）也相对较低，因为约会档案的核心是展示"你是谁"，而这些信息用户已经在三条事实里提供了部分内容。周末行程推荐（38.7%）和压力来源猜测（39.8%）则处于中间地带，既有可以参考的信息，也有大量无从得知的内容。
这个"想象力梯度"对系统设计者有直接的实践意义：当一个任务天然需要AI推断大量未知细节时，过度推断几乎是不可避免的，需要特别谨慎地处理。
---
五、最颠覆认知的发现：越觉得自己没在乱猜，反而乱猜越多
到目前为止，研究揭示的问题已经足够严重。但最令研究团队感到惊讶的，是他们在测试"自我监控"能力时发现的一个完全违反直觉的现象。
除了让AI完成任务之外，研究团队还要求每个模型对自己生成的内容进行自我审查——就像一个学生不仅要完成作文，还要回过头来标出哪些句子是自己瞎编的。这种自我审查的数据，和独立裁判的数据放在一起，产生了一个令人困惑的结果。
在12个模型中，Qwen3-8B的自我审查最为"谦虚"：它只承认自己13%的声明属于过度推断。然而裁判的数据显示，这个模型实际上有48.7%的声明是过度推断——几乎是它自己承认数字的四倍。换个方向，Kimi-K2.5在自我审查时非常"严苛"，认为自己58.2%的声明都是过度推断；但裁判测量到的实际数值只有43.1%，Kimi实际上比自己以为的要谨慎不少。
研究团队计算了12个模型的自我评估过度推断率和裁判测量过度推断率之间的斯皮尔曼秩相关系数（一种衡量两组排名是否一致的统计指标），结果是-0.60，p值为0.044。这个数字的含义是：在跨模型的比较中，一个模型越是觉得自己没在乱猜，它实际上乱猜的可能性越高。两者之间不是弱相关，甚至不是无关，而是明显的负相关。
研究团队将这一现象命名为"自我监控倒置"（Self-Monitoring Inversion）。
这个现象有一个合理的解释机制，叫做"差异化自我标注严格度"。某些模型，比如Claude、GLM-5.1和Kimi，倾向于对自己的推断持较高的怀疑态度，一旦觉得某条声明可能没有充分依据，就会将其标记为问题——这种"严格"的内省态度在一定程度上也会反映在它们的实际生成行为上，使它们在执行任务时更加克制。而另一些模型，比如GPT-4o-mini和Qwen3-8B，则倾向于把绝大多数推断都视为"合理"，这种宽松的自我评价标准同样渗透到它们的生成行为中，让它们在任务执行时更加"大胆"。
这个发现的实践意义非常重要。许多现有的AI记忆系统会让底层模型自己判断哪些信息值得存储、哪些推断是可靠的。但如果用跨模型自我报告的过度推断率来选择"更安全的模型"，实际上会选到相反的结果——那些声称最谨慎的模型，往往才是最需要外部监督的。
不过，这种"自我监控倒置"只发生在跨模型比较的层面。在同一个模型内部，自我审查仍然是有用的信号：研究团队测量了每个模型的自我评估与裁判评估在单条记录级别的相关性，以AUROC（一种衡量排序能力的指标，1.0代表完美，0.5代表随机）来衡量，12个模型的AUROC在0.58到0.83之间，其中9个超过0.75。这意味着，虽然不应该用一个模型的自我报告去和另一个模型的自我报告作比较，但一个模型的自我评估仍然可以帮助它对自己生成的声明进行内部排序，识别出相对更可疑的部分。
---
六、记忆污染：越聪明的AI，越容易悄悄积累错误的"了解"
最后一组令人担忧的数据来自"多轮积累"实验。研究团队用2个虚构人设，模拟了8轮连续对话，每一轮结束后让AI更新自己的用户记忆档案，然后追踪记忆库的变化。
最顶尖的模型（GPT-5.5和GLM-5.1）到第8轮时，记忆库中储存的推断属性已经超过了120个——而最初用户只提供了3条信息。它们每一轮平均新增约15个属性，增长几乎完全线性，R?值超过0.99，意味着这种增长非常稳定和可预测。
更令人担忧的是这些属性被移除的比例。GPT-5.5在8轮中的属性移除率只有0.4%，GLM-5.1是1.4%，Claude-Opus-4-6是2.4%。换句话说，一旦一条没有依据的推断被写入记忆，它几乎永远不会被撤销，哪怕后续对话中出现了与之矛盾的信息。研究团队观察到一个具体例子：GPT-5.5在第2轮就给某个人设贴上了"都市专业生活方式"的标签，但这个人设在第7轮明确描述自己去某个大城市是"第一次去玩"——这条明显的矛盾信息完全没有触发对原有标签的修正。
不过这个实验有两个重要的局限性需要说明：一是实验只用了2个人设，样本量极小，数据只能作为参考而非定论；二是实验中使用的记忆更新提示词明确要求模型"除非新信息直接矛盾，否则不要删除旧属性"，这在设计上就偏向积累。研究团队也坦诚地指出，这个实验的有效信号在于不同模型之间的对比，而非积累这一事实本身。
另一个极端是GPT-5.4-nano，它的属性增长几乎为零（第8轮平均只有15个属性，相比GPT-5.5的125个），移除率高达81.6%——它基本上每一轮都在重写记忆，而不是累积。Qwen3-8B也呈现类似的"替换而非积累"模式，移除率70.4%。
这种对比揭示了一个耐人寻味的规律：越是能干、越是"聪明"的模型，往往越倾向于大量积累推断属性，同时越少质疑和修正已有的记忆。能力越强，对自身推断的自信心也越强，从而导致更严重的"静默式记忆污染"。
---
七、为什么AI会这样？三个推动"脑补"的深层机制
理解了现象之后，研究团队也给出了对背后机制的分析。
第一个机制是"冗长陷阱"。更长的回复意味着需要从同样有限的3条信息中生成更多内容，自然会稀释真实依据的比例，让过度推断的比例上升。研究数据显示，输出长度与过度推断率之间的相关系数为0.59。但冗长本身并不是根本原因——即便是生成内容最精简的模型GPT-4o-mini，裁判测出的过度推断率依然高达45.1%。问题不仅仅是"说太多"，而是"说的内容没有根基"。
第二个机制是"预训练先验作为填空工具"。当信息稀缺时，模型会用从训练数据中学到的概率分布来填补空白。软件工程师"很可能"住在简约公寓——这个判断来自统计意义上的群体特征，而不是来自这个具体用户的任何陈述。把群体统计特征应用到具体个人身上，在本质上就是刻板印象，而这恰恰是过度推断中刻板印象那一类的来源。
第三个机制是"体裁期望制造了一种编造的义务"。推荐信、约会档案、行程规划这些文体类型，在语义和结构上都有固定的期待内容。如果一封推荐信拒绝声称当事人有任何具体成就，那它根本不像一封推荐信；如果一份约会档案什么个性特征都不描述，它完全没有用处。这种体裁内在的"完整性压力"，加上RLHF训练（一种让AI学习人类反馈的训练方式）对顺从用户期望的强化，共同推动了AI在没有证据的情况下也要"写满"内容的行为。
---
八、这对用AI管理个人信息的你意味着什么
归根结底，这项研究揭示的不只是一个技术漏洞，而是关于"个性化AI"这整个概念所隐含的一个根本性矛盾。
研究数据显示，只有24%到31%的个性化内容是真正基于用户说过的话——这意味着个性化本身在相当程度上必然是推断性的，而非事实性的。如果我们要求AI彻底消除过度推断，我们实际上是在要求它放弃个性化，因为个性化的本质就是在不完整信息下做出判断。
核心的设计挑战因此不是"消除推断"，而是"管理推断的不确定性"——让系统明确区分哪些是它确切知道的，哪些是它合理推测的，哪些是它完全没有根据的，并且对应地调整使用这些信息的方式。
对于构建AI产品的开发者而言，这项研究的警示很清晰：不能依赖模型自我报告的可信度来选择"更安全"的系统，因为自我报告和实际行为在跨模型比较层面是负相关的。存储用户信息时应当同步标注来源和依据，把"用户说过的"、"有证据推断的"和"没有依据生成的"区分开来，并且定期验证和清理那些缺乏依据的积累属性。
对于普通用户而言，这项研究提示我们不要过度信任AI"了解你"的感觉。那种"它真的懂我"的体验，很可能部分来自AI的合理推断，也有相当部分来自它的无中生有——而两者在使用体验上往往难以区分，因为AI从不主动告诉你哪条声明是它编出来的。
研究还发现了一个横跨Probe、Accum和Task三个测量场景的行为落差：当被直接追问"这条推断有没有依据"时，模型的错误率只有0.7%到4.6%；但当它不加约束地完成个性化任务时，过度推断率跳升到了42%。两种场景里用的是同一个模型，背后是同样的知识，但被明确要求审视自己时和不被要求时，行为截然不同。研究团队把这种落差比喻为LLM偏见研究中已有记录的"显性偏见低，隐性偏见高"现象——模型知道（如果被逼问的话）某些推断是没有依据的，但在没人"监视"的情况下，它照样会把这些推断表达出来。
这项研究的局限性研究团队也坦诚地指出了。整个评估体系只使用了一个裁判模型，尽管经过了人工验证，但单一裁判的局限性客观存在。自我监控倒置的发现基于12个模型，样本量有限，且置信区间较宽（-0.90到+0.06），这意味着这是一个值得重视的探索性发现，但需要更大规模的后续研究来加以确认。多轮积累实验只用了2个人设，且提示词本身偏向积累，结论应被视为方向性参考而非定论。此外，研究本身聚焦于描述和测量问题，没有测试具体的缓解方案，也没有测量过度推断对下游任务质量或用户满意度的实际影响。
尽管如此，MirageBench作为第一个专门针对个性化AI过度推断问题的系统性评测框架，已经填补了一个重要空白。研究团队承诺将完整发布这套基准，供后续研究使用。
对于任何在日常生活中使用带有"记忆"功能的AI助手的人来说，这项研究提供了一个清醒的提示：你的AI助手可能确实"记住了你"，但它同时也在"发明你"。两者混合在一起，以一种无缝的、自信的方式呈现，而区分这两者，目前来看，仍然是我们自己的责任。
---
Q&A
Q1：AI的"过度推断"和普通的"AI幻觉"有什么区别？
A：普通AI幻觉通常指AI编造了关于世界的错误事实，比如捏造一个名人说过某句话。而"过度推断"专指AI对用户本人的描述——在没有任何依据的情况下，声称用户有某种偏好、生活习惯或个性特征。这种错误更隐蔽，因为它打着"个性化"的旗号，听起来像是AI真的了解你，但实际上很可能是完全捏造的。
Q2：MirageBench测试的12个AI模型里，哪些表现最好、哪些最差？
A：在143,616条声明的评测中，Gemini-3.1-pro和Claude-Opus-4-6表现相对较好，过度推断率分别为35.1%和35.4%，但这依然意味着每三条描述里就有超过一条是没有依据的。表现最差的是Qwen3-8B，过度推断率高达48.7%。关键是，所有12个模型的过度推断率都在35%到49%之间，没有任何一个能够"逃脱"这个问题。
Q3：用户如何判断AI对自己的描述是有依据的还是编造的？
A：目前的主流AI产品普遍没有提供这种透明度，用户很难在使用体验中区分哪些是AI"确实知道的"、哪些是"合理推断的"、哪些是"完全捏造的"。研究建议的方向是让系统在存储用户信息时标注来源（比如"用户明确说过的"对比"系统推断的"），但这一功能在现有产品中基本缺席。作为用户，一个实用的自我保护策略是对AI声称了解你某项未曾提及的特征时保持怀疑，并主动核查或纠正。