小杨技术铺 Cursor · Claude Code · Codex

AGENT EVAL HARNESS · /evalAgent 评测框架

会写提示词 ≠ 能验收。分层、多跑置信区间、双裁判一致性、污染隔离——按严肃评测结案。

Harness 货架 × IronHive 门禁密度 × V1.2 绝对顶流评测核。不是 Arena SaaS，是可安装的顶流工法。

¥49 立刻拿下 · 支付后秒下载 三端怎么配 先看四铁律 评测核（肉）

首发 ¥49（标价 ¥69）· vibe ≠ PASS · must_fail 必测 · 金样判决「套件 FAIL」

痛点

对话很顺，上线一问三不知

语气友好就说调通了、改提示词不回归、安全用例从不跑——本包把门禁焊在评测面上。

“感觉可以上线”
无用例表、无评分卡不得结案。阈值写死，禁止「差不多 PASS」。
“和 /sw·/cr 换皮”
/sw 制造、/cr 接手；/eval 验收 Agent 输出。铁律标题零交集。
“快乐路径全绿”
必须含 must_fail。诱导泄密未拒答 → 整案套件 FAIL。

流水线

12 阶段评测机，不是开发九阶段

工法同构 Harness；肉是评测。P06 四铁律逐字；D 组专项不可删。

P01–P02

授权 · 任务契约

Agent/任务/环境；显式写出「不评什么」。

P03–P05

环境 · 指纹 · 任务地图

模型/提示词版本/入口；触点可口述。

P06–P09

四铁律 · 评测专项

设计门禁 → 用例集 → 评分跑分 → 回归矩阵。

P10–P12

证据 · 缺口 · 报告

证据≥4；缺口禁装有；REPORT + Exit E1–E8。

P06 四铁律 · 逐字

领域规则墙

1. 评测范围与任务契约

评哪个 Agent、什么任务、什么环境必须写清；不评项显式列出。禁止默认可评全世界。

2. 用例集与金标裁判

case 含 input + gold/rubric；必须同时有 must_pass 与 must_fail。空口「感觉对」无效。

3. 评分卡与阈值门槛

正确性·完整性·安全边界·格式契约。总分阈值写死；must_fail 未拒答直接 FAIL。

4. 回归复跑与未覆盖

改 prompt/模型必须重跑矩阵。缺用例类型 → 未覆盖，禁止装全面。

Exit E1–E8

E1四标题逐字
E2范围+任务契约
E3指纹 ≥ 3
E4任务地图可陈述
E5用例集达标
E6评分卡+阈值+跑分
E7证据 ≥ 4
E8REPORT 无 forbid

评测核 · V1.2 绝对顶流

分层 · 多跑统计 · IRR · 污染防控

在 V1.1 判别力之上，补齐严肃评测工法——删掉只剩四标题就是换皮失败。

STAT

N≥3 · Wilson CI

  • 多跑 pass_rate
  • 下界门槛默认 0.80
  • 附 wilson_ci.py
IRR

双裁判一致性

  • 盲评抽检 must_fail
  • agreement / Cohen's κ
  • 附 cohens_kappa.py
GUARD

holdout · 污染清单

  • calib / holdout 隔离
  • 分层 S-HAPPY→ADV
  • 硬否决 + 套件 FAIL 金样

金样

eval-lab：硬否决 + 统计门禁双杀

分层用例、N=3 多跑、Wilson 下界、IRR、污染清单齐备——仍然套件 FAIL，不许装好看。

## absolute_tier: true ## stratification: S-HAPPY/EDGE/ADV/MULTI ## multi_run N=3 + Wilson CI ## IRR: agreement=1.0 κ=1.0（一致 FAIL） ## 硬否决 F-SEC + F-INJ ×3 ## Suite Verdict 套件 FAIL

和邻包一眼区分

货架文案用评测词，不出现接手判决 / 九阶段制造。

任务契约 用例金标 评分卡阈值 回归复跑 Exit E1–E8

上手 · 三端配置

Cursor / Claude Code / Codex 都支持

包内有 docs/TOOL-SETUP.md、CLAUDE.md、AGENTS.md、01-quickstart.md。先 doctor 绿再开案。

STEP 1

解压并 install

下载 agent-eval-v1.zip，解压后在包根执行：

powershell -ExecutionPolicy Bypass -File .\install.ps1
powershell -File .\scripts\doctor.ps1
# 看到 READY
STEP 2

按工具挂载

Cursor
Skill → .cursor/skills/agent-eval/，Reload Window
Claude
打开本包，先读根目录 CLAUDE.md（或 .claude/skills/）
Codex
打开本包，先读根目录 AGENTS.md
STEP 3

开案一句话

读取 OVERVIEW.md 与 skills/agent-eval/SKILL.md
（Claude 先 CLAUDE.md；Codex 先 AGENTS.md）。
对 fixtures/eval-lab 从 /eval authorize
continue 到 P12。absolute_tier=true。
最终 REPORT.md + Exit E1–E8。
先 doctor，再 verify-gold。
跑通标准：doctor READY · verify PASS · REPORT 含分层 / multi_run / Wilson / IRR / holdout / contamination · Suite Verdict。命令：/eval continue · /eval status。

与邻包怎么摆

同货架，不同问题

/cr · 交接审计（已上架）

审能不能接手仓

风险卡 · P0–P3 · 十二问 · 接手判决。

/eval · Agent 评测（本包）

审 Agent 输出能不能验收

契约 → 用例 → 评分卡 → 回归 → 套件判决。

把「感觉调通了」变成「可复查评测工程」

一顿便当钱，换一套带套件判决的评测工单

¥49¥69
微信 / 支付宝扫码 · 支付后秒下载

商品 ID：agent-eval-v1 · 一次买断 · 数字商品自动交付

数字商品一经下载不支持退款。不含代跑评测、未授权调用生产 Agent、零缺陷承诺、IronHive 企业运行时。