企业手上有几十万条结构相近的记录要逐条判断——这批验收记录里的签字日期和影像编号对不对得上,这批分包合同里有没有把工期顺延的条款写进去,这批巡检照片里有没有明显的安全隐患。用大模型逐条跑完全可行,跑一遍也比人快。问题出在第四个月:这件事每个月都要做一次,账单按月寄到,没有人知道能不能把它变成一件做一次、用很久的东西。10 月 6 日挂到 arXiv 上的一篇论文把这个问题单独拎出来测了一次,结论比能做或不能做都更具体:这是一项独立于任务本身的能力,眼下大多数模型做不好,但做成了的时候成本能降三个数量级。
把会做和会做成便宜的东西分开测
论文叫《Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?》,作者五人,来自 Seong Joon Oh 所在的团队。他们给这种能力起名叫 bottling(装瓶):把一个通用能力变成针对某个具体任务的解法,同时兼顾回答质量和摊销后的成本。为了测它,他们搭了 BOTTLED 基准,设定刻意做得很像真实工作量。
智能体一开始就能拿到整份没有标签的数据,三项任务分别是从亚马逊商品描述里抽属性值(MAVE,约 477 万条)、判断搜索词与商品的相关性四分类(ESCI,约 262 万条)、判断一段文字是否由模型生成(RAID,约 562 万条)。每格预算固定:一张 40GB 的 A100、10 小时、500 万个加权 token(输出、未缓存输入、缓存输入按不同权重计算)。智能体只能调用它自己那个模型的 API,可以上网,但数据集本身和在这些标签上训过的模型都被代理屏蔽,最后要交出一份覆盖完整工作量的预测文件。
做法不限:可以训一个小模型,可以写一段带规则的可复用程序,也可以做成混合式,把难的子集留给自己背后的大模型。最后一条在设计上允许,但预算决定了它很难用得上——500 万 token 对几百万条实例,哪怕只把百分之一路由回去也付不起,所以这个基准测的是全量替换,而不是产品里常见的小模型兜底、大模型接难题的分层形态。
参照系有两个,都很有针对性。一个是同一个模型在 1000 条抽样上逐条零样本的成绩,用来回答装瓶之后丢了多少;另一个是一个刻意写得很笨的蒸馏脚本——用 GLM 5.3 Flash 按零样本方式贴标签,一直贴到花完同样多的 500 万 token,再按模型卡上的现成配方微调 Qwen3-0.6B 和 SmolLM2-360M,不做任何针对任务的调参。十个模型、三项任务、每格跑两次,一共 60 次装瓶。
读数:零样本强不等于会装瓶
结果的主轴是一句话:原来有多会做这件事,预测不了它能不能把这件事做成一件便宜的东西。60 次装瓶里有 48 次落在自己模型零样本成绩 95% 置信区间的下限之下,40 次甚至低于零样本最差的那个模型的区间。零样本分数接近的模型,装瓶之后可能天差地别:MAVE 上 GPT 5.6 Terra 和 Sonnet 5 的零样本 F1 都在 0.44 上下,装瓶后一个拿到 0.405、一个只有 0.154;ESCI 上 GLM 5.3 保住了零样本的约 84%,GPT 5.6 Terra 只保住约 46%。更扎眼的是那个笨脚本:60 次里有 31 次输给两个学生模型中较好的那个,21 次两个都输。
另一面是做成了的时候,省钱是数量级的。Opus 5 在 ESCI 上以 26.28 美元拿到宏 F1 0.499,它自己的零样本是 0.609、按全量估算要一万七千多美元,也就是保留约 82% 的成绩、成本低约 657 倍;MAVE 上它保留了九成五以上,成本低约 889 倍。和一个专为廉价重复推理设计的 system one 模型 Jev 相比,Opus 5 在 ESCI 上以约四分之一的成本拿到 Jev 约 94% 的宏 F1,Gemini 3.1 Pro 在 RAID 上以约 2% 的成本拿到 Jev 九成七以上的 AUROC。价格也不是质量的代理:GLM 5.3 Flash 花不到 1 美元拿到约 39% 的聚合相对增益,只被花了约 29 美元、拿到 42% 的 Opus 5 压过一头,而 GPT 5.6 Sol 花掉约 12 美元只换来约 6%。
失败的样子比成功更有信息量
最值得读的部分是它把失败分了类。60 次里 21 次是因为烧光 token 被强制终止,其中 8 次连输出文件都没交,GPT 5.6 Sol 一个人占了四次——它一边在计划里写着要盯紧预算,一边启动了一个串行调用 API 给几千条样本贴标签的脚本。剩下 39 次是主动收工的,里面有两种典型错误。一种是没核对输入:Gemini 3.1 Flash-Lite 读文件时被截断在第 49 行,它就认定整份工作量只有 49 条,交了 49 个答案,剩着约 495 万 token 收工。另一种是没验证产物:Sonnet 5 两次 MAVE 都直接拿一个没有微调过的 Qwen2.5-1.5B 去跑全量,F1 只有 0.194 和 0.113。
预算不是全部原因。作者把那 21 次在不终止的条件下重跑,仍有 47 次(原来是 48 次)落在零样本区间之下,个别格子大幅回升——Opus 5 在 RAID 上从 0.713 涨到 0.929,超过了它自己的零样本成绩。上限是摸得到的,缺的是在预算之内把它稳定地拿到手。
作者自陈了几条边界:每格只有两次运行,同一模型两次之间的差距没有逐次数字,模型间排序偏软;零样本基准是 1000 条抽样,全量成本是外推的;美元成本绑定 2026 年 9 月的各家价目表;蒸馏基线固定用 GLM 5.3 Flash 当教师,而它本身是装瓶最划算的模型之一,所以输给笨脚本有一部分是输给一个便宜但扎实的教师;三项任务都是分类或抽取,恰好是小模型擅长的形态,生成型或推理型的窄任务能不能装瓶没有证据。代码以 MIT 许可发布。
同一件事也可以做在智能体自己身上
装瓶说的是把能力做成产物,同一周还有一条新闻说的是把智能体本身做成产物。Docker 工程团队开源了 docker-agent,一个用 YAML 文件定义智能体的 CLI 插件:一个文件里写清用哪个模型、一段自然语言指令、一组工具集,docker agent run 就能跑;也能在一个文件里写好几个智能体,让根智能体按配置自动把子任务分给专门的子智能体。工具走 MCP,内置 think、todo、memory,检索可插拔。模型侧不绑厂商,OpenAI、Anthropic、Gemini、AWS Bedrock、Mistral、xAI 和 Docker Model Runner 的本地模型都可以。
分发方式才是关键。智能体能被推送到任意 OCI 镜像仓库,在另一台机器上用 docker agent run org/agent:tag 拉下来执行——和团队已经在用的镜像仓库、命令行、构建与分发路径是同一条。Apache-2.0 许可,Docker Desktop 4.63 起内置,十月初在 Hacker News 拿到 231 分,GitHub 星数 3477。两件事放在一起,指向同一个变化:智能体和它造出来的东西,都在从一次会话变成一份制品。制品和会话的区别是,制品有版本号、能进代码评审、能回滚、也能被收回。
迁移到施工企业:总部造产物,项目部用产物
大型施工企业里有大量天然符合装瓶条件的工作量,共同特征是窄、量大、重复,而且判定标准写在规范里——几万条隐蔽工程验收记录里影像编号、部位、验收人与报验单是否一致;几万份分包合同里工期顺延、价款调整、质量保证金条款怎么写的;历年安全巡检影像里是否存在可直接判定的违规情形。
现在的做法通常两种,各有问题。一种是总部组织人写一套提示词、买 token,让项目部逐条跑;成本随量线性增长,每轮还要重新解释一遍背景。另一种是立项做垂类模型,周期长,交付时规范可能已经换版。装瓶提供的是第三条路的雏形:让智能体在给定的算力、时间和 token 预算内,自己把这件事做成一个能反复用的产物,然后由人来决定要不要、怎么用。
可复用的关系是能力和产能被拆开了。总部要的不再是一次性跑完几万条,而是一件成本可预测、能反复使用、并且知道自己什么时候不行的东西。落到治理上,三件事必须重做,因为原案例里智能体自己都不做。一是验收:BOTTLED 的失败几乎都出在没给自己建验收上,放进自己的场景就必须强制留出一份人工标注的验证集,并写死一条规则——产物上线前必须在验证集上超过事先定的线,达不到就不许进项目部,而这条线不能由造产物的那个智能体自己判。二是适用范围登记:产物只在装瓶时那批数据的分布上成立,规范换版、表格改版、新业态进场都会让它悄悄失效,所以它要带着适用范围进库,并设一个复核日期。三是责任人与召回路径:产物散到几十个项目部之后,规范换版时谁来通知、谁来保证旧版本停用,这和其他交付物是同一类管理问题,只是智能体产物更容易让人忘了它也需要召回。
二次创新可以往两个方向走。一是把装瓶做成总部的一项常规动作:每年规范换版后,给一批高频重复判定各跑一次,产物进库、带验证集分数和复核日期,项目部只管用。另一个更有意思——既然失败集中在验收,一个专门检查产物有没有被验收过、验证集分数是多少、适用范围有没有写的工具,可能比再训一个模型更有价值。
两个可以马上试的小东西
找一个同一个问题问几万遍的活儿,比如历年分包合同的工期顺延条款抽取,把两万条合同文本一次性交给智能体,给它一张卡、十小时和固定 token 预算,同时强制它先留出 200 条人工标注的验证集再动手。跑完对照它自己逐条的零样本成绩,看保留了多少、成本降了多少、验证集过没过线。这一轮的目标不是上线,是拿到自己场景里的那个比值。
再建一张很薄的表:装瓶产物登记表。字段就五个——产物名、适用范围、验证集分数、生成日期、复核日期与责任人。先登记两三个试跑的产物,半年后回头看,哪一类真的被项目部反复调用,哪一类躺在库里没人碰。
来源与说明
[1]: Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts? —— arXiv 2610.08775 / 2026-10-06 (https://arxiv.org/abs/2610.08775) [2]: TL;DR: Agent in a Bottle —— ArXiv TLDR / 2026-10-08 (https://arxivtldr.org/abs/2610.08775) [3]: AI Agents Unlock 657-Fold Cost Cuts, New Benchmark Finds —— Fathom / 2026-10-07 (https://www.fathom.news/ai-agents-cut-costs-657-fold) [4]: BOTTLED finds most agent-built solutions trail direct model performance —— Eigen Radar / 2026-10-07 (https://eigenradar.com/en/ai/briefs/2026-10-07/bottled-reusable-agent-solutions) [5]: 把前沿能力装进便宜产物,本身是多数模型还不会的能力 —— 稀土掘金(读后笔记,含逐项数字与作者推断)/ 2026-10-08 (https://juejin.cn/post/7693469680511254537) [6]: Docker ships docker-agent, a CLI plugin for declarative multi-agent AI systems —— Deniz.in / 2026-10-08 (https://deniz.in/docker-ships-docker-agent-a-cli-plugin-for-declarative-multi-agent-ai-systems) [7]: Docker released Docker Agent, a CLI plugin for AI agents in YAML —— Reveneau / 2026-10-08 (https://reveneau.com/ainews/docker-agent-cli-plugin-yaml-multi-agent-apache-2-provider-agnostic) [8]: Docker Open-Sources YAML AI Agent Builder With MCP and RAG —— AI Weekly / 2026-10-08 (https://aiweekly.co/alerts/docker-open-sources-yaml-ai-agent-builder-with-mcp-and-rag) [9]: Docker Agent 版本、许可与能力登记 —— AI/TLDR / 2026-10-07 (https://ai-tldr.dev/tools/docker-agent) [10]: AI 新闻日报 - 2026 年 10 月 8 日(Hacker News 当日条目)—— 博客园 / 2026-10-08 (https://www.cnblogs.com/verstin/p/23226804)
说明:装瓶的定义、三项任务与实例数、每格 40GB A100 与 10 小时与 500 万加权 token 的预算、只能调用自身模型 API、允许训小模型或写程序或混合、十模型三任务每格两次共 60 次、48/60 低于零样本 95% 置信区间下限、31/60 输给两个小模型蒸馏基线中较好的那个、Opus 5 在 ESCI 上以 26.28 美元拿到宏 F1 0.499 及约 657 倍成本差、与 Jev 的对照,出自 arXiv 2610.08775 摘要与 ArXiv TLDR、Fathom、Eigen Radar 的转述。40 次低于零样本最差模型区间、MAVE 上 GPT 5.6 Terra 与 Sonnet 5 装瓶后 0.405 与 0.154、ESCI 上 GLM 5.3 保住约 84% 而 GPT 5.6 Terra 约 46%、Opus 5 在 MAVE 上保留九成五以上与约 889 倍成本差、Gemini 3.1 Pro 在 RAID 上约 2% 成本、21 次烧光 token 被终止与 8 次未交文件、Gemini 3.1 Flash-Lite 截断在 49 行、Sonnet 5 用未微调 Qwen2.5-1.5B 得到 0.194 与 0.113、去掉终止重跑后 47 次仍在区间之下且 Opus 5 在 RAID 从 0.713 升到 0.929、GLM 5.3 Flash 不到 1 美元约 39% 与 GPT 5.6 Sol 约 12 美元约 6%,以及作者自陈的每格两次、零样本千条抽样外推、成本绑定 2026 年 9 月价目表、蒸馏基线固定教师、任务形态限于分类与抽取、代码 MIT 许可,出自掘金读后笔记对原文的逐项转述。该笔记中“瓶颈在资源分配和对自身产物的检验”“基准测的是全量替换而非分层形态”两条为转述者的推断,原文未作此分析,本文已另行标注,不作为论文结论引用。docker-agent 的 YAML 形态、多智能体自动委派、MCP 与内置工具、OCI 仓库分发与 org/agent:tag 用法、Apache-2.0 许可、Docker Desktop 4.63 内置、231 分与 3477 星,出自项目 README 与四家转述。迁移段落中的施工场景、登记表字段与两个小试验为本刊基于案例机制提出的设想,尚未实施。