2-05 · 반복 검토 절차와 Agent 초안 만들기

1. 실습 목표

/control-test Skill에 모집단 확인부터 검토 자료 검증까지의 순서를 정의하고, 지정 표본 12건의 근거 있는 working-paper.json 초안을 생성합니다.

2. 시작 지점

세 MCP Tool의 정상·실패 상태, 지정 표본과 get_case_evidence 응답을 직접 확인했습니다.

브라우저의 두 번째 과정 진행 안내에서 control-test Skill 적용을 확인하고, working-paper.json에서 표본 순서·집계·담당자 확인 필요 상태를 검증합니다.

3. 구현 범위 및 요구사항

/control-test Skill 작성

  • 모집단 30 / 29 / 21 / 8 / 1, 표본 12건 순서, U701 근거 조회를 차례로 확인합니다.
  • 연결·권한·근거 확인에 실패하면 중단하고 일부 결과만으로 완료 처리하지 않습니다.
  • R-01–R-04를 바꾸지 않고 모든 표본에 requires_human_review: true를 둡니다.

Agent 검토 자료 생성·검증

  • 경로: output/day-2/working-paper.json, UTF-8 JSON
  • schema_version: "1.0", agent_run_id: "DAY2-2026-08-V1", source_test_run_id: "DAY1-2026-08-V1"
  • 표본 12, 정상 4, 검토 필요 8, 초안 12와 정해진 순서를 검증합니다.
  • Tool 호출 기록과 인용은 실제 조회에만 근거하고 원본 검토 자료는 이후 담당자가 수정하지 않습니다.

4. 실습 프롬프트

Claude Code에 붙여 넣을 프롬프트
반복 가능한 통제 검토 절차를 Skill로 만들고 실제 Tool 응답으로 검토 자료 초안을 생성해 주세요.
 
현재 MCP Tool은 모집단, 이후 검토할 변경 요청과 사례별 근거를 읽기 전용으로 반환합니다. `.claude/skills`의 기존 작성 방식을 확인하고, 이 Tool들을 같은 순서로 사용하는 통제 검토 절차를 Skill로 만들어 주세요.
 
구현이 끝나면 Skill을 실행해 실제 Tool 응답에 근거한 검토 자료 초안을 JSON으로 생성할 수 있어야 합니다. Agent의 평가는 초안으로 남기고 담당자의 최종 결론은 포함하지 마세요.
 
- 모집단 확인 → 검토 대상 선택 → 권한 있는 근거 조회 → source ID 인용 → JSON 검증 순서 정의
- Tool 응답만을 이용한 UTF-8 `output/day-2/working-paper.json` 생성
- 검토 절차, 확인한 사실, 초안 평가, 추가 확인 항목과 source ID 포함
- 담당자의 최종 결론과 확인되지 않은 사실 생성 금지
- Tool 실패 시 즉시 중단과 불완전한 결과의 완료 처리 금지
- 규칙 상태, 기존 기능과 입력 원본 유지
 
Skill 실행 후 생성된 JSON의 파싱과 기존 검사 명령만 확인해 주세요. 구현 후에는 변경 파일, 실제 Tool 호출 순서, 생성 결과, 검사 통과 여부와 남은 위험만 간단히 알려 주세요.

5. 예상 결과

Success

  • 체크포인트: student/09-evidence-skill-ready
  • Skill: .claude/skills/control-test/SKILL.md
  • 검토 자료: output/day-2/working-paper.json
  • 집계 12 / 4 / 8 / 12, 표본 순서 일치
  • 12건 모두 requires_human_review: true
  • 두 번째 과정 진행 안내와 working-paper.json에서 Skill 결과 12 / 4 / 8 / 12가 확인됨

6. 대표 실패 사례 및 복구

Failure

  • MCP 연결 전 예시 값으로 JSON을 만듦
  • 일부 표본이나 잘못된 JSON을 완료로 기록함
  • Agent 초안을 담당자의 확정 결론처럼 씀

Info

기존 검토 자료를 안전하게 보존하고 잘못된 새 파일을 격리합니다. 전체 12건을 처음부터 생성해 검증을 통과시킵니다.

7. 다음 실습

검증된 검토 자료를 검토 자료 조회 API로 제공합니다.