corpus-benchlisted

Станок верификации чужого кода на НАШИХ живых корпусах (GIT-25). Триггеры - “/corpus-bench“, “прогони по корпусу“, “проверь их фикс на наших транскриптах“, “corpus bench“, “верифицируй на корпусе“, а также САМ внутри заходов GIT-S5/S8/S9, когда чужой PR/фикс трогает чтение транскриптов, сессий, памяти агентов
tonydzi/second-brain-starter-kit · ★ 8 · AI & Automation · score 76

Install: claude install-skill tonydzi/second-brain-starter-kit

# /corpus-bench — верификация чужого кода на наших корпусах > Родился 14.08.2026 из ручных прогонов GIT-S5/S9 (casdk#1202: 3 дерева x 12 227 > файлов руками ~час; станком — 5 минут). Приказ Антона: «Делай станок и скилл и рутину». **Движок (единственный источник логики, дока = его docstring):** `python "$USERPROFILE/.claude/scripts/git25-tools/corpus_bench.py"` ## Когда применять Чужой PR/фикс/релиз читает или пишет **транскрипты Claude Code, сессии, память агентов, JSONL-логи** — всё, для чего у нас есть живой корпус, которого нет у автора. Наше несправедливое преимущество: 12k+ живых транскриптов на узел, 5 узлов, 3 ОС. ## Ритуал (4 шага) 1. **Цель.** Папка `corpus_bench_targets/<name>/` рядом с движком: `target.json` (repo · pinned_ref · install · metric · direction · fetch_refs для PR-голов) + `plugin.py` с одной функцией `evaluate(tree_path, files) -> dict` (сам добавляет tree в sys.path; возвращает СЧЁТЧИКИ, никогда содержимое файлов). Образец: `corpus_bench_targets/casdk-session-reader/`. 2. **Прогон.** `... run <name> --refs main_sha,pr_sha [--limit 200]` — сначала с `--limit` (быстрая проверка плагина), потом полный. Таблица: metric · ratio · delta improved/same/WORSE. Exit 3 = есть регрессия. 3. **Мутант-дисциплина (руками, до отправки коммента):** (а) red-before — метрика обязана двигаться между деревьями не вакуумно; (б) зонд загрузки — правка реально в пути исполнения (класс «невыполнившийся мутант» из журнала 12.08); (в) в коммент