agent-evallisted
Install: claude install-skill xu-jin-cs/dsh-skills
# agent-eval — Agent/Skills 专项能力评估·可视化报告
核心目标:**一条命令执行脚本,生成 Agent 能力可视化报告**(雷达图 + 排名榜 + 文字报告)。
## 执行步骤(照抄执行,禁止手写判定)
1. **执行评估**(默认内部自研 9 维模式):
```bash
python3 ~/.agents/skills/agent-eval/scripts/eval_agents.py
```
缺 matplotlib 时脚本自动改用 `~/.browser-use-env/bin/python3` 重启自身,无需人工处理。
2. **核对控制台三行回执**:`[采集]`(有效技能数/脚本数/关键技能缺失/retro 水位/路径漂移数)、`saved`(两张图路径+体系综合分与评级)、`[排名]`(Top3 + 阻断计数)。exit≠0 或缺回执即失败,禁止未验证报完成。
3. **交付**:向用户报告本轮 round 目录路径、体系综合分/评级、Top3、阻断/高风险短板条数,并附两张图与 report.html 的链接。
## 可选模式
| 命令 | 用途 |
|---|---|
| `--mode generic` | 通用 7 基础维(机制创新性/自动化闭环降为附加标签);`--with-optional` 按 7:1.5 降权并入 |
| `--compare <上轮 shards/skills_system.json>` | 雷达图叠加上轮灰色虚线,两轮对比涨跌 |
| `--config cfg.json` | 覆盖 skills_dir/key_skills/阈值/开关,用于评估其他本地文件式 Agent |
| `--out <目录>` | 自定义产出目录(默认 `~/Desktop/agent-skills-eval-<YYYYMMDD>/`) |
## 评分口径(与脚本 docstring 一致,改动须先改脚本)
- 体系级 9 维冻结基线(2026-09-09):9/9/8/8.5/8/8/7/9/9;调整版信号加减(2026-09-18 裁定):关键技能缺失阶梯扣分 -0.3/个上限 -1.0、全齐 +0.5、全库零漂移可维护 +0.5、retro<200 扣 -1.0 绑定 `enable_agent_self_evolution` 开关;clamp [0,10] 步进 0.5;overall=均值;评级 A-≥85/B+≥80/B≥75/B-≥70/C+≥65/C≥55/D。
- 逐技能 9 维机械评分(RUBRIC 规则表:frontmatter/行数/脚本数/漂移引用/六组关键词,无裁量)。
- 短板三级:【阻断】frontmatter 契约缺失>【高风险】失效路径引用>【一般优化】文档/执行面完善类;每条带行动指引。
- 排名:overall 降序 → 阻断数升序 → 核心四维(功能覆盖/工程实现/可靠可验证/安全治理)均值降序 → 完全同分并列。
## 出图契约(深色科技风,2026-09-18 用户三次裁定定稿)
- **图1 `images/agent_radar.png`**:体系多维雷达,青 #2DD4BF,标杆线 85=A-;底部强弱清单区从底边锚定紧凑排列、标题居中、明细左对齐,每条独立成行不截断,亮点/短板各最多 10 行并在图上标注该规则与总条数(超出指向 agent_rank.md),短板按等级配色。
- **图2 `i