my-session-analyzer

SKILL.md(설계도)와 실제 세션 실행 기록을 비교해서 스킬이 의도대로 동작했는지 검증한다. "레시피대로 요리했는지 감독관이 확인하는 것"과 같은 역할.

Execution Flow

┌─────────────────────────────────────────────┐
│  Step 1. 분석 대상 스킬 선택                   │
│  (어떤 스킬의 실행을 검증할지)                  │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│  Step 2. SKILL.md 파싱                        │
│  설계도에서 "기대 동작" 추출                    │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│  Step 3. 세션 기록 분석                        │
│  가장 최근 세션에서 "실제 동작" 추출             │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│  Step 4. Expected vs Actual 비교              │
│  PASS / FAIL 판정                             │
└──────────────────────┬──────────────────────┘
                       │
┌──────────────────────▼──────────────────────┐
│  Step 5. 검증 리포트 출력                      │
│  + FAIL 항목 개선 제안                         │
└─────────────────────────────────────────────┘

Step 1: 분석 대상 스킬 선택

AskUserQuestion으로 어떤 스킬의 실행을 검증할지 선택받는다:

AskUserQuestion({
  "questions": [{
    "question": "어떤 스킬의 실행을 검증할까요?",
    "header": "검증 대상",
    "options": [
      {"label": "my-session-wrap", "description": "세션 정리 스킬 검증"},
      {"label": "my-context-sync", "description": "컨텍스트 싱크 스킬 검증"},
      {"label": "my-history-insight", "description": "히스토리 분석 스킬 검증"},
      {"label": "직접 입력", "description": "다른 스킬 이름 직접 입력"}
    ],
    "multiSelect": false
  }]
})

Step 2: SKILL.md 파싱 — 기대 동작 추출

선택된 스킬의 SKILL.md를 읽어서 아래 항목을 추출한다:

• 에이전트 목록: 어떤 에이전트가 정의되어 있는지
• 실행 순서: 병렬/순차 구조가 어떻게 설계됐는지
• 출력 형식: 어떤 결과물을 만들어야 하는지
• 필수 단계: 반드시 실행해야 하는 Step들

추출한 항목을 "기대 동작 체크리스트"로 정리한다.

예시:

기대 동작 체크리스트 (my-session-wrap 기준)
□ git status 실행 (Step 1)
□ doc-updater 에이전트 실행 (Phase 1, 병렬)
□ automation-scout 에이전트 실행 (Phase 1, 병렬)
□ learning-extractor 에이전트 실행 (Phase 1, 병렬)
□ followup-suggester 에이전트 실행 (Phase 1, 병렬)
□ duplicate-checker 실행 (Phase 2, Phase 1 완료 후)
□ AskUserQuestion으로 사용자 선택 받기 (Step 4)
□ 선택된 작업 실행 (Step 5)

Step 3: 세션 기록 분석 — 실제 동작 추출

~/.claude/projects/ 에서 해당 스킬이 실행된 가장 최근 세션 파일을 찾는다.

• 세션 파일의 assistant 메시지에서 Tool 호출 기록 확인
• Task(서브에이전트) 호출 횟수와 이름 확인
• AskUserQuestion 호출 여부 확인
• Bash/Read/Write/Edit 등 도구 사용 패턴 확인
• 최종 출력물(파일 생성, 커밋 등) 확인

추출한 항목을 "실제 동작 기록"으로 정리한다.

Step 4: Expected vs Actual 비교

기대 동작과 실제 동작을 표로 비교해서 PASS/FAIL 판정한다.

| 구성요소            | 기대한 것          | 실제 결과          | 판정  |
|--------------------|-------------------|-------------------|-------|
| git status 실행    | Step 1에서 실행   | Bash로 실행됨     | PASS  |
| doc-updater        | 병렬 실행         | Task로 병렬 실행  | PASS  |
| automation-scout   | 병렬 실행         | Task로 병렬 실행  | PASS  |
| learning-extractor | 병렬 실행         | Task로 병렬 실행  | PASS  |
| followup-suggester | 병렬 실행         | Task로 병렬 실행  | PASS  |
| duplicate-checker  | Phase 1 완료 후   | Phase 1 후 실행   | PASS  |
| 사용자 선택        | AskUserQuestion   | AskUserQuestion   | PASS  |
| 선택 작업 실행     | 조건부 실행       | 실행됨            | PASS  |

판정 기준:

• PASS: 설계도대로 동작함
• FAIL: 설계도와 다르게 동작하거나 생략됨
• PARTIAL: 일부만 실행됨

Step 5: 검증 리포트 출력

🔍 session-analyzer 검증 리포트
대상 스킬: [스킬명]
분석 세션: [세션 ID 앞 8자리]
실행 시각: YYYY-MM-DD HH:MM

━━━━━━━━━━━━━━━━━━━━━━━━

📋 Expected vs Actual

[비교 테이블]

━━━━━━━━━━━━━━━━━━━━━━━━

📊 전체 판정
✅ PASS: X개 / ❌ FAIL: Y개 / ⚠️ PARTIAL: Z개

최종 결과: [PASS / FAIL / PARTIAL]

━━━━━━━━━━━━━━━━━━━━━━━━

🔧 개선 제안 (FAIL 항목이 있을 때만)
- [FAIL 항목]: [구체적인 SKILL.md 수정 방법]

━━━━━━━━━━━━━━━━━━━━━━━━

💡 총평
[스킬이 전반적으로 의도대로 동작했는지 한 줄 평가]

FAIL 항목이 있으면 바로 수정 여부를 물어본다:

AskUserQuestion({
  "questions": [{
    "question": "FAIL 항목을 발견했습니다. 어떻게 할까요?",
    "header": "다음 단계",
    "options": [
      {"label": "SKILL.md 바로 수정", "description": "FAIL 항목 기반으로 스킬 개선"},
      {"label": "나중에 수정", "description": "현재는 리포트만 확인하고 넘어감"},
      {"label": "무시", "description": "핵심 기능은 동작하므로 그대로 사용"}
    ],
    "multiSelect": false
  }]
})

Quick Reference

• 언제: 스킬을 새로 만들거나 수정한 직후
• 소요 시간: ~1분
• 핵심 원칙: 만들기 → 실행 → 검증 → 수정의 반복이 좋은 스킬을 만든다