一个内部智能体做完之后,最难的往往不是让它跑通,而是回答“它到底行不行”。常见做法是人先拟一批问题让它答一遍,看顺不顺;再下一步是让它和另一个模型对练,把对练的成功率写进验收报告。这条路的毛病在 10 月 9 日的一篇论文里被量化了:同一个智能体、同一套任务,只换谁来扮演提问的人,成功率能从 63.6% 涨到 84.4%。涨出来的二十个百分点不是智能体变强了,是对手变配合了。论文的解法也很直接——既然问题出在对手身上,就把对手单独做出来,而且专门做成不配合的样子。
一个过分配合的对手,测不出真本事
MIMESIS 出自 Meta 超级智能实验室,合作方包括纽约大学与威斯康星大学麦迪逊分校。它先把问题摆出来:训练会对话的智能体需要大量人机交互,真人反馈贵且难规模化,于是大家改用模拟用户,而模拟用户通常直接拿现成的助手模型顶上。助手模型被训练成要帮忙、要配合,于是它们在对话里显得过于合作、过于直白、行为也过于单一。论文做的一次对照把这层偏差摆到台面上:固定住一个 GPT-5.5 智能体,只在 τ-bench 上换扮演用户的模型,真人对场时成功率 63.6%,GPT-5.5 自己当对手升到 82.4%,Claude Opus 5 当对手 84.4%,MIMESIS-9B 是 65.5%,而同底座未做专门训练的 Qwen3.5-9B 只有 48.7%。
这张表的读法比分数重要。以真人的 63.6% 为基准,助手模型那一侧高出十八到二十一个百分点,作者把它标成“过于合作”;未加训练的 Qwen3.5 低约十五个百分点,标成“过于刁难”。也就是说,用现成助手模型跑出来的验收数字,系统性地偏乐观,而且偏差量级足够把一个还不该上线的智能体送过线。
十三类难缠行为是怎么抽出来的
MIMESIS 不是靠提示词让模型“演得像一点”,它是训出来的。训练语料是 62 个来源的 2120 万条样本,底座取 Qwen3.5 的 4B 与 9B 两档,任务是预测对话里下一句真人会说什么。真正让它和一般模拟器拉开差距的是两处设计。一处是作者称之为 ThoughtTrace 的推理监督:对每一句用户发言,模型要先生成一段不对外公开的思考,写明这个用户为什么说这句话、以及对上一轮回复有什么反应,然后再生成说出口的那句。智能体在交互中只看得到说出口的部分,那段思考被当作特权信息留给训练环节。另一处是从这些推理轨迹里归纳出的 13 类真实行为,逐类显式训练,包括不公开验收标准、在智能体开工之后追加要求、被追问才吐信息、把不成立的说法当事实讲出来。
这个设计把一个常被当成噪音的东西变成了可训练对象。验收标准不先说清,在日常对话里像表达不清,在训练环境里则是一个可以反复出现的压力条件;中途改要求也一样,它考验的正是智能体能不能在半途重新确认范围,而不是一路闷头做完。把这些行为单独做成训练科目,等于把“真实用户不好对付”这件笼统的感受拆成了可枚举、可配比、可复现的清单。
教练点评:把私有想法变成训练信号
论文的第二层用法比保真度更有迁移价值。他们把训练好的模拟器冻结,让智能体在这个环境里做多轮强化学习,然后提出一个叫“教练式自蒸馏”的步骤:模拟器那套私有推理轨迹和它下一句要说的话,本身就是对智能体上一轮表现的反馈——它满意还是不满,打算补充还是打算改要求。一个教练模型把这些信息压成简短的点评,告诉智能体怎么更好地预判用户需求、怎么在对话过程中调整行为,于是训练信号从稀疏的任务成败变成了逐词元的密集监督。
效果分三段:以 GPT-5.5 当练习对手的强化学习基线平均分 26.10,把对手换成 MIMESIS-9B 升到 29.54,再加上教练式自蒸馏到 31.09。在八个环境、九个训练时从未见过的评测用户模型上,用 MIMESIS 练出来的智能体都优于用 GPT-5.5 练出来的。作者自己的限制也写在论文里:模拟器生成的想法与反应同样是模型输出,可能是对真人心理的错误解读,用它当环境时不应把这些当成真人的真实动机;各保真度指标也是在自家的评测集上跑出来的。
第二例:补全的数据要一格格标出来
同一周 Anthropic 公布的紫外线全天图是另一个角度的提醒。约翰霍普金斯大学的天体物理学家 Brice Ménard 想给学生一张完整的紫外星空图,而此前没有:紫外线被大气臭氧层吸收,只能从太空观测,NASA 的 GALEX 任务在 2003 到 2013 年间约 3.8 万次观测覆盖了三分之二左右的天区,并且刻意避开了银河系盘面等亮星密集区域,怕打坏探测器。补齐这类洞在技术上可行,但要按像素做细致校准和反复分析,耗时以周计,天文学家通常把它往后排。
他用 Claude Science 调度了一批智能体来做:先检索并下载公开巡天数据,再让多个智能体并行处理不同天区、把各次观测之间的内部一致性拉平,包括扣掉亮星周围的眩光;接着跨任务交叉校准、统一分辨率与坐标系后合并;最后对从未被紫外望远镜观测过的约三分之一天空做补全——从已观测的三分之二里学会紫外亮度与可见光、红外、射电亮度的统计关系,据此推断缺失天区并给出不确定度。把已有实测的区域遮住再补一次,预测与实测相差约 10%。
值得抄走的是两处。一是成品图上每个像素都标注了实测还是推算,并附误差范围,页面上还专门提醒:完整不等于实测,拿这张图做说明时必须把两层标注一起带上。二是人的位置。有天晚上 Ménard 在最暗的天区里看到一圈圈淡圆斑,那是 GALEX 单次观测的痕迹——每次拍摄的圆形视场里混着一点不均匀的地球大气辉光,没扣干净就显了形。这件事在项目开始时就被列为已知问题,但成图先后通过了其他智能体的两轮审查,谁都没抓到。他只说了一句话,智能体追到大气残留辉光,把 3.8 万次观测重扣一遍、算了几小时,圆斑消失。终版做了十几版。
落到施工企业:把“不好对付”变成资产
这两件事合起来指向一个很具体的动作。大型施工企业推内部智能体,验收通常靠两类材料:一批人拟的标准问题,和一次演示会上顺顺当当的走查。前者把话说得太完整,后者提问者心里有数、不会中途改口。真实的项目部不是这样:分包单位来问计量支付,往往先说一个模糊场景,等你答了才补充“我们这份合同的专用条款另有约定”;安全交底的问答里,问的人常把听说的做法当规定陈述出来;技术方案审查时,评审意见会在你改完初稿之后换一套口径。这些不是沟通事故,是行业常态——条件分散在合同、图纸、纪要和现场约定里,没有人能一次说全。
MIMESIS 给的做法是别把这些当噪音,把它们列出来。能马上动手的版本不需要训练模型:把过去一年内部智能体或答疑机器人的真实对话调出来,人工抽五十条“当时答错了”的样本,逐条标注错在哪一类——条件没问全、对方中途改了范围、对方给了错误前提,还是把不在适用范围的规矩套了进来。这份清单就是自己场景里的那十三类行为,有两个用途。一是当验收集:任何内部智能体上线前,按这五十条的方式再造两百条变体跑一遍,这个数字比标准问题集可信得多。二是当需求规范:清单上频次高的那几类,正好说明流程里哪些条件长期靠人猜——“验收标准不公开”占比高,就值得回头看评审办法是不是写得含糊。
紫外全天图补上的是另一半。企业里的风险画像、供应商库、项目台账同样布满洞:这家分包商近三年的履约评分只填了两年,这个项目的影像资料缺了三个月,这批材料的复检报告在另一个系统里。用模型补全很自然也很快。要抄的是那条纪律:补出来的每个字段都标明实测还是推算,并给出可信区间;一旦这张表用于评审或考核,标注必须跟着走,不能只剩一个看起来完整的数字。Ménard 用肉眼抓到、两轮机器审查漏掉的圆斑,对应的正是这类错误——不是随机的错,是系统性痕迹,逐处单独看都合理,所以模型交叉检查不容易发现。补完之后要留一道人工抽查,而且抽查的人应该看整片分布,不是逐条核对。
两个可以马上试的小东西
第一个是给现有内部智能体做一次“不配合测试”。挑一个已上线的问答类智能体,让三个人分别扮演项目部、分包单位和总部职能,规则只有一条:不许一次把条件说全,必须在第二或第三轮补一条新约束,其中一人故意给一个错误前提。跑十轮,记下智能体在补充条件出现时有没有主动回问、有没有把错误前提当事实接着推。这个测试不需要新工具,半天能做完。
第二个是建一张很薄的溯源表。任何由模型补全或推算出来的字段,登记四项:原值来源、实测还是推算、推算所依赖的字段、复核人与复核日期。先对一两张在用的表试行,下一季度回头看哪些推算字段被引用过、哪些从没人碰。
来源与说明
[1]: MIMESIS: Learning User Simulators as Training Environments for Interactive Agents —— arXiv 2610.09484 / 2026-10-09 (https://arxiv.org/abs/2610.09484) [2]: MIMESIS: Learning User Simulators as Training Environments for Interactive Agents(含图表数值、训练语料与作者列表)—— alphaXiv / 2026-10-09 (https://alphaxiv.org/audio/2610.09484) [3]: Meta’s MIMESIS User Simulators Lift Agent Scores Nearly 5 Points —— AI Weekly / 2026-10-09 (https://aiweekly.co/alerts/meta-superintelligence-labs-releases-mimesis-a-trained-user-simulator-that) [4]: MIMESIS: Learning User Simulators as Training Environments for Interactive Agents(摘要全文与 PDF)—— PaperReading / 2026-10-09 (https://paperreading.club/page?id=452809) [5]: MIMESIS 摘要中文转述与机构标注(Meta 超级智能实验室、纽约大学、威斯康星大学麦迪逊分校)—— arXiv 每日学术速递 / 2026-10-09 (https://www.arxivdaily.com/universities/nyu) [6]: AI Daily Newsstand: October 9, 2026(MIMESIS 条目与 τ-bench 数值)—— BYOBot / 2026-10-09 (https://byobot.ai/ai-news/ai-daily-newsstand-october-9-2026) [7]: The missing map of the sky —— Anthropic 官方研究页 / 2026-10-08 (https://www.anthropic.com/research/the-missing-map-of-the-sky) [8]: Anthropic’s Claude Science creates the first complete ultraviolet map of the sky —— The Decoder / 2026-10-09 (https://the-decoder.com/anthropics-claude-science-creates-the-first-complete-ultraviolet-map-of-the-sky/) [9]: Claude Science Maps the Whole Sky in Ultraviolet(五阶段流程与数字表)—— CellCog / 2026-10-09 (https://cellcog.ai/blog/claude-science-uv-sky-map) [10]: Anthropic’s Claude Science creates first complete ultraviolet map of the sky —— AI Understanding / 2026-10-09 (https://aiunderstanding.org/news/anthropic-s-claude-science-creates-first-complete-ultraviolet-map-of-the-sky) [11]: 太震撼了,Claude 画出首张紫外全天图!1.19 亿颗星逐颗叠上(含圆斑细节与“完整不等于实测”提醒)—— 搜狐 / 2026-10-09 (https://www.sohu.com/a/1085630723_473283) [12]: 腾讯研究院 AI 速递 20261010(紫外线全天图条目)—— 搜狐 / 2026-10-10 (https://www.sohu.com/a/1085715291_455313)
说明:MIMESIS 的 63.6% 真人基准、GPT-5.5 对手 82.4%、Claude Opus 5 对手 84.4%、MIMESIS-9B 65.5%、Qwen3.5-9B 48.7% 与 Qwen3.5-4B 47.7%,以及“过于合作”与“过于刁难”的方向标注,出自 arXiv 2610.09484 摘要与 alphaXiv 对原文图表的转述;13 类行为、ThoughtTrace 的私有推理监督、2120 万条样本与 62 个来源、Qwen3.5 的 4B 与 9B 底座、SOUL-Index 65.7、GRPO 基线 26.10 与换用 MIMESIS-9B 后 29.54 及加入教练式自蒸馏后 31.09、八个环境与九个未见评测用户,出自论文摘要与 alphaXiv、AI Weekly、PaperReading 的转述;“模拟器的想法与反应是模型输出、可能是对真人心理的错误解读”出自论文自述,本文已保留。文内“虚高 18—21 个百分点”“低约 15 个百分点”为按上述数值相对 63.6% 基准的差值计算,非论文原句。紫外全天图的 GALEX 2003—2013 年约 3.8 万次观测与覆盖约三分之二天区、约三分之一靠补全、遮住实测区后相差约 10%、每个像素标注实测或推算并附误差、Gaia 叠加的逾一亿颗恒星、成图十几版,出自 Anthropic 官方研究页与 The Decoder、CellCog 的转述;Ménard 夜间发现圆斑、该问题项目初期已列为已知、成图通过其他智能体两轮审查未被发现、一句话反馈后重扣 3.8 万次观测、以及页面“完整不等于实测”的提醒与 X 上的质疑,出自 Anthropic 研究页与搜狐中文转述。迁移段落中的施工场景、五十条错答样本的分类清单、溯源表四个字段与两个小试验为本刊基于案例机制提出的设想,尚未实施。本期未采用涉及公共部门、跨境监管博弈、可被照做的安全过程与国别对比框架的候选线索。