Agent 工程实践简报 · 2026-11-15

今日概念:LLM-as-judge(让模型当裁判):用一个 LLM 给另一个 LLM 的输出判「过 / 不过」,但裁判本身也要先考试

是什么:有些结果没法用代码判对错,比如「这段 PR 描述写清楚了吗」「agent 的回复有没有答非所问」。这时可以写一个专门的判分 prompt,让另一个模型读输出、给出 pass/fail 和理由。这个模型就是「裁判」(judge)。

解决什么:人工逐条看太慢,单元测试又判不了「好不好」。裁判能把人的判断标准自动化,跑几百条也不累。

坑在哪:裁判自己也会错,而且错得很隐蔽。Vik Paruchuri(Datalab)这周公开了一个真实例子:判分 prompt 里写明「NOT FOUND 一律算错」,标准答案是页面上的一个数字,模型回答 NOT FOUND,裁判(gpt-4.1)却判它正确。每跑一次就错 16 到 19 次。最后他们把裁判换成了精确的数字比对。所以 Hamel Husain 的做法是:

和你已会的东西的关系:

入门原文:Using LLM-as-a-Judge For Evaluation: A Complete Guide(Hamel Husain,2024-10 首发,2026-09 更新);反面案例见 Everyone is #1: how to evaluate OCR for your own pipeline 的「LLM judges」「Step 8」两节(Vik Paruchuri,2026-11-12)

上手 prompt:

目标:为一个「代码判不了、只能靠读来判」的质量问题建一个 LLM 裁判(LLM-as-judge),并在用它之前先验证它靠不靠谱。先出方案,等我确认再写文件。

1. 先读仓库,找出 AI 生成内容的地方(例如 agent 写的 PR 描述、commit message、skill 的产出、文档、对用户的回复),列 3 个候选质量问题,每个说明为什么代码断言判不了。让我挑 1 个。只挑一个具体的失败类型(例如「PR 描述没写清楚怎么验证」),不要做「整体质量」。
2. 从真实历史里收集 40 条该类产出(git log、PR、日志等,给出每条的来源路径或链接)。整理成表格:输入 / 输出 / 空白的 pass-fail 列 / 空白的理由列。交给我标注,你不要自己预填答案。
3. 我标完后,写裁判 prompt:只输出 pass 或 fail 加一段理由;从我的标注里挑 pass 和 fail 各几条、带理由的样本当例子;样本要带上我判分时用到的全部上下文。
4. 把裁判跑在没放进 prompt 的那些样本上,报告:TPR(我判 fail 的里面它判 fail 的比例)、TNR(我判 pass 的里面它判 pass 的比例),并逐条列出它和我不一致的样本及双方理由。不要只报一个总一致率。
5. 额外做两个破坏性测试并贴结果:(a) 拿一条我判 pass 的,故意改坏关键信息,裁判必须改判 fail;(b) 同一批样本重复跑 3 次,报告每条判决是否稳定。
6. 根据不一致的样本改 prompt,最多迭代 3 轮,每轮贴出 TPR/TNR 变化。最后告诉我:样本量是否足以下结论(低于 60 条要明确说不够),以及哪些情况仍然必须人看。不要提交任何改动。

参考:https://hamel.dev/blog/posts/llm-judge/

本期条目

1. poteto:「快速修复有害」。让 agent 做「最小、最快的改动」,补丁会被下一个 agent 当成范例照抄,坏写法很快会扩散到整个代码库

要点:poteto 本周发帖说,以前手写代码时没时间做对的事,只好打补丁;agent 改变了这笔账,修根因的成本低了很多。补丁的问题在于会被模仿:下一个 agent 读到它,会把它当成「这个仓库就是这么写的」。所以有时候哪怕改动范围更大,也应该让 agent 去修根因。

延伸:她本周在 AI Engineer 大会的演讲视频也上线了,标题是「All Code Is Slop (Except Mine)」,时长约 17 分钟。我没看视频,没拿到字幕,以下只来自视频简介:Grok Bot 团队一个月合并 11,000 个 PR,回滚率约 0.5%。靠的是软件架构、lint 规则、自动化测试、运行时验证,以及用 TLA+ 和 Lean 做的形式化验证。章节包括「信任金字塔与代码库质量」「用 lint 规则替代注释」「把 token 花在验证上」「先打地基,再建软件工厂」。最后一章正好对应你的「软件工厂」目标。

目标:修这个 bug 时,先判断该打补丁还是修根因,并防止补丁里的写法被以后的 agent 照抄。先给分析,等我确认再改代码。

Bug 描述:<在这里粘贴症状 / 报错 / 复现步骤>

1. 复现:找到并运行能复现这个 bug 的最小命令或测试(先读仓库确认实际的测试和运行命令),贴出失败输出。复现不了就停下来告诉我缺什么。
2. 找根因:顺着调用链找到第一个出错的地方,不是报错的地方。给出文件路径和行号,用一两句话说明为什么是这里。
3. 查扩散:在整个仓库里搜索同样的写法或同类补丁(贴出搜索命令和命中列表)。判断这个 bug 是孤例,还是某个写法反复出现造成的。
4. 给两个方案并对比:A = 最小补丁,B = 修根因。分别列出改动的文件数、风险,以及「下一个 agent 读到这段代码会学到什么写法」。默认推荐 B;只有当 B 的风险明显过高时才推荐 A,并说明理由。
5. 我确认方案后再实施。如果选的是 A,在补丁旁边留一行注释,写明为什么是临时方案,以及正确做法在哪里,并附上根因描述。如果仓库有 lint 机制,提议一条能挡住这种错误写法再次出现的规则。
6. 验收:第 1 步的复现测试由失败变为通过,相关测试全部通过(贴出命令输出),并给出 git diff。不要提交。

来源:poteto 帖子「quick fixes considered harmful」(lauren / @poteto,2026-11-15 00:49,Asia/Kuala_Lumpur);AIE 演讲 All Code Is Slop (Except Mine)(Lauren Tan,AI Engineer 频道,2026-11-14);发布帖

2. 别信分数,先查判分:任何评测都能做的 4 个检查。同一个模型只修了评分适配器,分数就从 64.5% 跳到 93.6%

要点:Vik Paruchuri(Datalab,做 OCR 模型)这周发了长文和推文串,起因是 OCR 圈在争论 benchmark 刷榜。他列了几个真实问题。ExtractBench 的适配器把他们输出里的置信度、引用字段当成错误答案,修好之后分数从 64.5% 升到 93.6%,提取出的值一个没变。他们自建的评测里,最初 192 道题有 45 道所有强模型都答错,最后查出是题目本身错了。Hamel Husain 转发时补了一句:靠 benchmark 做决定之前,至少亲自看 3–5 个失败任务的完整记录(trace)。文章讲的是 OCR,但这 4 个检查可以直接用在你的 agent 评测和 skill 评测上:

  1. 换格式:同一个正确输出换一种格式(例如 markdown 和 HTML),分数应该不变。
  2. 故意改坏:改错一个数字、标签或年份,分数必须下降。
  3. 看共同失败:所有强模型都没过的题,先怀疑题目或标准答案。
  4. 查偏向:标准答案是不是照某一家的输出写的。

另外两条:评分脚本要固定版本,他们旧版本的评分器就把 \$ 解析错了;每个新发现的失败都补成一道新题。

目标:审计这个仓库里现有的评测或判分逻辑,确认「分数变化代表真实变化」,而不是判分 bug。只读和跑评测,不要改任何文件;结束时给我一份报告。

1. 先读仓库,找出所有判分的地方:测试断言、eval 脚本、grader、LLM 裁判 prompt、CI 里的质量门禁。列出文件路径,说明每个判的是什么。如果完全没有评测,就停下来告诉我,并建议从哪里开始。
2. 对每个判分器跑 4 个检查,每个检查都贴出命令和输出:
   a. 换格式:取一条已知正确的输出,只改格式(空格、换行、大小写、字段顺序、markdown/HTML/JSON 表示等),分数应该不变。变了就记为「判的是格式不是内容」。
   b. 故意改坏:把一条已知正确的输出改错一个关键值(数字、名称、条件),分数必须下降。没降就记为「漏判」。
   c. 看共同失败:如果有多次运行或多个模型/配置的结果,找出所有运行都失败的题,逐条读题目和标准答案,判断是题目错了还是确实很难。
   d. 查偏向:检查标准答案或评分规则是否依赖某个具体实现的输出格式或默认行为。
3. 抽 3–5 条失败记录,读完整 trace 或日志,用一句话写出每条失败的真实原因。
4. 检查判分器和依赖的版本是否固定。没固定的列出来,说明可能造成什么分数漂移。
5. 输出一张表:判分器 / 检查项 / 结果(通过、有问题)/ 证据 / 建议修法。按「会让分数失真的程度」排序,最多给 5 条修复建议,等我确认。

参考:https://www.datalab.to/blog/how-to-evaluate-ocr

来源:Everyone is #1: how to evaluate OCR for your own pipeline(Vik Paruchuri,Datalab,2026-11-12);Vik 的推文串;Hamel Husain 的评论(2026-11-14 23:19,Asia/Kuala_Lumpur)


本期去重用源链接(机器可读)