Agent 工程实践简报 · 2026-11-16

今日概念:Code Mode(代码模式):不让 agent 一次只调一个工具,而是让它写一小段程序,一次调完

是什么:平时 agent 用工具是一问一答:调一次 Read,看结果;再调一次 Bash,再看结果。每个中间结果都要塞回上下文给模型读。Code Mode 换了个做法:模型写一段 JavaScript,在里面连着调用好几个工具、把输出过滤好,最后只把需要的那一小部分交回给模型。Claude Code 2.1.323(2026-11-13 06:12,Asia/Kuala_Lumpur 发布)把它做成了实验开关。

解决什么:

限制(官方文档原文要点):

和你已会的东西的关系:

入门原文:Code execution with MCP: Building more efficient agents(Adam Jones、Conor Kelly,Anthropic,2025-11-04);Claude Code 官方文档 Run tool calls from code with Code Mode(Anthropic)

上手 prompt(先在终端运行 claude --version 确认版本不低于 2.1.323,再用 CLAUDE_CODE_EXPERIMENTAL_CODE_MODE=1 claude 启动,会话顶部会显示 Code Mode (experimental) is on):

目标:在这个仓库里试用 Code Mode,判断它值不值得我常开。只读,不要修改任何文件。

1. 先检查会妨碍 Code Mode 的配置:读取 ~/.claude/settings.json、项目的 .claude/settings.json 和 .claude/settings.local.json,列出所有 PreToolUse 和 UserPromptSubmit hook,写明每个 hook 的 matcher、timeout 和 onFailure。官方文档说,在 Code Mode 下 PreToolUse hook 起不来或超时,工具调用会被拒绝。请标出哪些 hook 有这个风险,以及建议的改法(只给建议,不要改)。
2. 做一个多步骤的只读任务:读取仓库里所有 Markdown 文件,列出指向本地文件、但目标文件不存在的链接。输出表格:所在文件 / 行号 / 链接 / 为什么判断为不存在。
3. 任务完成后报告:你写了几段代码、一共调用了多少次工具、哪些调用是并行跑的、交回给你读的输出大概有多大。把每段代码原样贴出来,好让我对照 Ctrl+O 打开的记录查看。
4. 最后用 3 句话说明:这类任务用 Code Mode 和平时一次调一个工具比,好在哪、差在哪。再列出这个仓库里另外 2 种适合 Code Mode 的任务,每种附上它在仓库里的具体例子(文件路径)。

参考:https://code.claude.com/docs/en/code-mode ;https://www.anthropic.com/engineering/code-execution-with-mcp

本期条目

1. 换模型或改 prompt 之前,先写好判定规则,再看「每解决一个任务花多少钱」:Fable 5.2 和 Opus 5.5 通过率差不多,但每解决一个任务的成本是 2.8 倍

目标:在这个仓库里建一个最小的 A/B 对比评测,用来判断「换模型 / 改 prompt / 改 skill」到底有没有用。先出方案,等我确认后再写文件,确认前不要跑任何会花钱的调用。

1. 先读仓库,找出可以当评测任务的材料:近期修过的 bug、有测试的 issue、git 历史里「改代码 + 补测试」的提交。挑 20 到 30 个任务,每个任务必须能用仓库里已有或新补的测试自动判对错。列出每个任务的来源(提交哈希或 issue 链接)和判分命令。判分命令要先读仓库确认真实的测试命令,不要猜。
2. 写一个 PREREGISTRATION.md,在跑任何实验之前固定下来:
   - 要对比的两个配置 A 和 B(例如两个模型,或有无某句 prompt);
   - 判定规则,例如「B 的通过率差值 95% 区间整体低于 0,或每个通过的成本比值区间整体高于 1,就不采用 B」;
   - 每个任务跑几遍(至少 2 遍)、工具版本固定在哪个版本、超时多久。
3. 写运行和统计脚本:每次尝试记录 任务 / 配置 / 第几遍 / 是否通过 / token / 费用 / 用时。统计时输出:
   - 两边的通过率和 95% 区间(按任务做 bootstrap);
   - 每个通过的平均成本,以及两边的成本比值和区间;
   - 同一任务两遍结果不一致的比例;
   - 按当前任务数,大约能测出多大的通过率差距(最小可检测差距)。
4. 先只用 2 个任务做一次试跑,把原始记录和统计输出贴给我,证明脚本能跑通。
5. 交付:文件清单、试跑输出、完整跑一次的预计费用和时间。并提醒我:区间包含 0 时,结论只能写「没测出差别」。

参考:https://github.com/garrytan/g-harness-evals/blob/cc8619d977f126ddb6d8f03a4b6cd02c5634c1bc/docs/benchmarks/2026-11-12-fable-5-2-coding-cc322/report.md

来源:Fable 5.2 vs Fable 5.1 and Opus 5.5 in Claude Code 2.1.322: report(Garry Tan,g-harness-evals 仓库);Garry Tan 的推文(2026-11-14 12:45,Asia/Kuala_Lumpur);Dex Horthy 的中途结果(2026-11-16 09:13,Asia/Kuala_Lumpur)

2. Kent C. Dodds:软件工厂的秘诀是让 agent 吐槽你的代码库;每次手动发 prompt 前,先问自己「怎样才能不用我来发」

目标:给这个仓库加一个「agent 阻力记录」机制,让 agent 每次干完活都留下它遇到的阻力,方便我定期修掉。先出方案,等我确认后再改文件。

1. 先读仓库:找出 agent 说明文件(AGENTS.md、CLAUDE.md 或同类文件),以及已有的文档目录约定。判断阻力记录放在哪里最合适(例如 docs/agent-friction.md),并说明理由。
2. 给说明文件写一段规则的 diff(不超过 8 行),内容是:每次任务结束前,往阻力记录里追加一条,格式为「日期 / 任务一句话 / 卡在哪 / 花了多少轮才绕过去 / 建议怎么从根上修(改脚本、补文档、加检查、改结构)」。没有阻力就写「无」,不能省略。
3. 现在就补第一批记录:回顾 git log 里最近 20 个提交和仓库现状,亲自试跑一遍安装、构建、测试、lint 的标准流程(先读仓库确认真实命令),把你作为 agent 实际碰到的每个阻力写成记录。每条都要附证据:失败的命令和输出、过期文档的路径和行号,或者自相矛盾的两处位置。
4. 再列出一张「我可能一直在手动发的 prompt」清单:根据仓库里的脚本、CI 配置和提交模式,推断哪些重复操作可以改成由触发器自动启动(例如 PR 打开时、CI 失败时、每天定时)。每条写清触发条件、agent 要做什么、怎么验证它做对了。
5. 输出:说明文件的 diff、阻力记录初稿、按「修了之后省事程度」排序的前 5 个修复建议。等我确认后再动手修。

参考:https://x.com/kentcdodds/status/2122028323555651636 ;https://x.com/kentcdodds/status/2122069021218750527

来源:Kent C. Dodds:让 agent 吐槽代码库(2026-11-16 02:05,Asia/Kuala_Lumpur);Kent C. Dodds:怎样才能不用我来发这条(2026-11-16 04:47,Asia/Kuala_Lumpur)


本期去重用源链接(机器可读)