ai-collab-evaluatorlisted

# AI 협업 역량 평가 (ai-collab-evaluator) AI 기업 열린 채용의 평가 기준 — **AI를 다루는 방식 / 활용하는 방식 / 질문하는 방식 / 트레이드오프 과정** — 으로 실제 세션 로그를 평가한다. 평가자가 보는 건 AI 실력이 아니라 **판단력**: "AI가 뭘 했나"가 아니라 "사용자는 뭘 결정했나". ## 절차 ### 1. 세션 선정 사용자가 세션을 지정하지 않았으면: ```bash # 프로젝트 디렉토리 최신순 ls -lt ~/.claude/projects/ | head -10 # 특정 프로젝트의 세션들 (크기·시간) ls -lhSt ~/.claude/projects/<dir>/*.jsonl | head -8 ``` 각 후보의 첫 사용자 발화 2~3개를 뽑아 "무슨 작업이었는지" 파악한 뒤 AskUserQuestion으로 고르게 한다. **추천 기준: 문제정의→반복수정→산출물 흐름이 완결된 세션.** 트레이드오프 평가가 가능하려면 방향 전환·폐기·선택이 있어야 한다. 단순 조회성 세션은 평가 깊이가 안 나온다. ### 2. 스켈레톤 추출 원본 jsonl을 직접 읽지 말 것 (수 MB, 대부분 tool_result 노이즈). 스크립트 사용: ```bash python3 <이 스킬 디렉토리>/scripts/extract_skeleton.py <session.jsonl> ``` 출력: 사용자 발화 전문(600자) + 도구 호출(이름+힌트) + AI 텍스트 앞부분(250자) + 포크 알림. 출력이 커서 파일로 persist되면 Read로 읽는다. ### 3. 루브릭 평가 4개 기준 × 각 5점. **모든 판정에 세션 원문 인용을 증거로 붙인다** — 인용 없는 칭찬/지적 금지. #### 기준 1 — AI를 다루는 방식 (오케스트레이션) | 찾을 증거 | 신호 | |---|---| | 검증 루프 | AI 출력을 다른 수단(스킬·테스트·외부 근거·별도 세션)으로 재검증했나 | | 컨텍스트 관리 | 단계 분리, CLAUDE.md/스킬로 규칙 고정, 세션 리셋 | | 역할 분리 | 생성과 검증을 같은 컨텍스트에 안 시켰나. 포크/서브에이전트 병렬 운용 | | 실패 처리 | AI가 반복 실패할 때 프롬프트 수정이 아니라 접근 자체를 바꿨나. 에이전트 kill = 통제권 증거 | | 도구 전환 | 같은 목적에 도구 여러 개 비교(예: Excalidraw→TikZ) | 감점: AI가 가져온 근거를 재확인 없이 수용, 출력 그대로 복붙. #### 기준 2 — AI를 활용하는 방식 (위임 판단) | 찾을 증거 | 신호 | |---|---| | 위임/직접 경계 | 초안·반복·리서치 = AI, 방향 판단·승인·우선순위 = 본인 | | 문제 분해 | 큰 문제를 AI가 잘하는 단위로 쪼갰나 | | 선택적 수용 | AI 제안(백로그·옵션) 중 골라냈나, 전부 시켰나 | | 문제/해법 분리 | "이거 이상해. 어떻게 수정할래?" — 발견은 본인, 생성은 AI | | 비용 판단 | AI 안 쓰는 게 빠른 일을 직