Agent Evaluator：智能体能力自动测试与评估技能

概述

本技能系统化地自动测试与评估智能体（Agent）的综合能力。Agent 的核心公式为：Agent = LLM + 工具使用 + 记忆 + 规划与执行循环。评测从 LLM 基座能力 和 Agent 架构能力 两个层面解耦进行，最终输出综合成熟度等级与精准优化建议。

核心设计理念

• 双轨解耦：LLM 能力（大脑）与 Agent 架构能力（躯干）分开评测，精准定位瓶颈
• 六维场景：覆盖 RAG、小说创作、新媒体创作、编程、行业研究、问题解决 6 大应用场景
• EPFMS 指标：效能（Efficacy）、过程（Process）、效率（Frugality）、记忆（Memory）、安全（Safety）
• 成熟度分级：M0 玩具 → M1 助手 → M2 干将 → M3 专家，附 LLM/Agent 双轨等级

快速开始

# 运行完整评估（交互式选择场景）
python scripts/run_evaluation.py

# 指定场景和被测智能体
python scripts/run_evaluation.py --scenario rag,programming --agent-type openai --model gpt-4o

# 仅执行 LLM 基座能力评估
python scripts/run_evaluation.py --mode llm-only

# 仅执行 Agent 架构能力评估
python scripts/run_evaluation.py --mode agent-only

# 生成评估报告
python scripts/report_generator.py --input results/latest.json --output report

测试六维场景矩阵

本技能覆盖 6 大测试场景，每个场景包含多个子场景测试点。详细内容见 [references/test-scenarios.md](references/test-scenarios.md)。

双轨评估架构

1. LLM 基座能力评估（大脑）

见 [references/evaluation-model.md](references/evaluation-model.md#llm-基座能力评估)。

测试不依赖外部工具时的"内功"：

• 指令遵循：多约束生成、角色扮演、格式合规
• 逻辑推理：多步数学推理、因果推断、排除干扰
• 上下文利用：长文本信息提取、"大海捞针"、多文档交叉比对
• 函数调用：嵌套 JSON、枚举值边界、工具参数映射
• 幻觉控制：知识边界测试、拒答率评估

2. Agent 架构能力评估（躯干）

见 [references/evaluation-model.md#agent-架构能力评估](references/evaluation-model.md#agent-架构能力评估)。

测试与外部环境交互的闭环能力：

• 规划与拆解：任务分解、子任务依赖、并行识别
• 工具编排：精准选工具、参数传递、重试与降级策略
• 记忆管理：上下文窗口与外部记忆协调、摘要压缩、会话隔离
• 执行流控：死循环检测、主动停止、冗余调用剔除
• 异常恢复：空结果、API超时、文件不存在的自救能力

评估模型（AEGIS）

AEGIS（Agent Evaluation & Grading Integrated System）由指标层、评估机制层和综合算分层组成。详见 [references/evaluation-model.md](references/evaluation-model.md)。

EPFMS 五维指标

场景权重矩阵

综合得分 = w₁E + w₂P + w₃F + w₄M + w₅S

成熟度等级体系

LLM 成熟度

Agent 成熟度

综合成熟度（LLM × Agent 二维矩阵）

执行流程

测试启动 → 用例生成器（场景×难度随机组合）→ 环境沙箱初始化（注入工具/Mock API/记忆库/长文档）
→ 被测智能体执行（记录轨迹 Trajectory）→ 双引擎评估（规则判定 + LLM-as-a-Judge）
→ 指标聚合（套用场景权重公式计算 EPFMS）→ 输出报告（雷达图 + 等级 + 薄弱项定位）

预置测试用例

见 [references/test-cases-db.md](references/test-cases-db.md)，包含每个场景的：

• 标准测试用例（输入 + 预期轨迹 + 评估方式）
• 故障注入测试（API 报错、搜索结果为空、信息冲突等）
• 剥离测试（纯 LLM 测试 vs 纯 Agent 测试）

报告输出

评估完成后生成：

1. 控制台摘要：总分 + 等级 + 瓶颈定位 + 优化建议
2. JSON 详细数据：results/{timestamp}/ 目录，含原始轨迹、各维度得分
3. HTML 雷达图报告：可视化 EPFMS 五维得分对比
4. 对比报告：（可选）多智能体横向对比

报告输出格式：

{
  "agent": {"type": "openai", "model": "gpt-4o"},
  "overall_score": 82.5,
  "overall_level": "M2",
  "epfms": {"E": 88, "P": 75, "F": 70, "M": 85, "S": 92},
  "llm_score": 85,
  "llm_level": "L2",
  "agent_score": 78,
  "agent_level": "L2",
  "bottleneck": "Agent 执行流控",
  "advice": "增加最大步数限制与反思退出机制，优化 Token 消耗"
}

脚本说明

参考文件