Source Metadata

Original cangjie-skill frontmatter from the distillation run:

name: maker-checker
description: |
  设计 Loop 中的 Maker-Checker 模式: 用独立 agent 审查产出,避免自产自检。
  当用户发现 loop 产出质量不稳定、agent 自我评估过于宽容、或需要提升产出可信度时使用。
  不适用于: 产出可以客观验证 (测试通过/失败) 的任务、或成本极其敏感的场景。
  关键 trigger: "agent 自评不准确"、"产出质量不稳定"、"怎么让 agent 审查 agent"。
source_book: "Loop Engineering 视频合集"
source_chapter: 视频2 (Boris Cherny) / 视频3 (小木头)
tags: [maker-checker, verification, quality, separation-of-concerns]
related_skills: [goal-verification, loop-5plus1-architecture, loop-three-elements]

Maker-Checker 模式 — 用独立 Agent 审查产出

R — Reading (原文)

"Don't get agent to self-verify its own work. It just generally didn't work that well."
— Boris Cherny (视频2)

"写代码的那个模型给自己的作业打分,有的时候太宽容了。所以我们需要让另一个agent来挑刺。"
— 小木头 (视频3)

I — Interpretation (自述)

核心规则: 不要让同一个 agent 做事又检查。

Maker-Checker 模式将生产和审查拆分为两个独立 agent:

• Maker: 执行任务 (写代码、写文章、生成方案)
• Checker: 审查产出,给出反馈或打分

为什么需要:

• 同一个 agent 给自己的作业打分通常过于宽容
• Agent 有盲点,看不到自己的错误
• 独立 checker 可以给出更客观的评估

A1 — Past Application (书中案例)

案例1: Boris 的代码审查 (视频2)

• Maker: 写代码的 agent

-Checker: read-only 的 verifier agent,有详细 spec

• 结果: 自审经常放过问题,独立 checker 能发现更多缺陷

案例2: 缩略图评分 (视频1)

• Maker: 生成 10 个缩略图概念
• Checker: 用 Mr. Beast 风格 rubric 打分
• 教训: 如果 maker 和 checker 是同一个 agent,评分会过于主观

A2 — Future Trigger (未来触发)

1. Agent 自评不准确时: "它自己说做得很好,但实际很差"
2. 产出质量不稳定时: "有时好有时坏,没有保障"
3. 设计 loop 验证环节时: 选择 maker-checker 作为验证策略
4. 团队 code review 自动化时: 用 AI checker 替代部分人工 review

语言信号: "agent 自评不准确"、"怎么让 agent 审查 agent"、"产出质量不稳定"、"独立审查"

与相邻 skill 的区别:

• goal-verification: 关注"验证什么" (标准设计); 本 skill 关注"谁来验证" (角色分工)
• loop-5plus1-architecture: 完整系统架构 (本 skill 是子智能体层的具体模式)
• loop-three-elements: 三要素框架 (本 skill 是 action 环节的质量保障)

E — Execution (可执行步骤)

Step 1: 判断是否需要 Maker-Checker

• 产出可以客观验证 (测试/数值)? → 不需要,用自动化检查
• 产出需要主观判断 (写作/设计)? → 需要 Maker-Checker
• 成本极其敏感? → 谨慎,因为多一个 agent 多一倍成本

Step 2: 设计 Maker

• 明确任务: 做什么? 输出什么?
• 提供上下文: 规则、约束、参考案例
• 输出格式: 确保 checker 能清楚审查

Step 3: 设计 Checker

• 必须是 read-only: 不能修改产出,只能评估
• 提供详细 spec: 评分标准、常见错误、质量 rubric
• 输出: 问题列表 + 评分 + 改进建议

Step 4: 集成到 Loop

• Maker 产出 → Checker 审查 → 通过? 提交 / 不通过? 反馈给 Maker 重做
• 设置最大重做次数 (防止无限循环)

B — Boundary (边界)

不要使用这个 skill 的场景:

1. 产出可以客观验证: 测试通过/失败 → 不需要独立 checker
2. 成本敏感: 多一个 agent 多一倍 token 消耗
3. 简单任务: 单次提示能搞定的,不需要分工

作者的盲点与局限:

• Maker-Checker 假设"两个 agent 比一个 agent 好",但没有给出"checker 也不靠谱怎么办"的方案
• 独立 checker 的成本 (token、时间) 被低估
• 视频案例全部是代码审查,对非技术场景 (内容创作) 的适用性未知

与之相邻但容易混淆的方法论:

• Code Review: 人工审查代码; 本 skill 是 AI 审查 AI
• A/B 测试: "两个版本对比"; 本 skill 是"生产和审查分工"