AI-05 · 결과 검증과 개선
이 자료에서는 AI 결과를 기본적으로 검토 가능한 초안으로 다룹니다. 말투가 자연스럽거나 형식이 맞는 것과 내용이 정확한 것은 별개입니다.
먼저 구분해서 읽기
- 사실: 원문, 데이터나 공식 출처로 확인할 수 있는 내용
- 추정: 주어진 정보에서 해석했지만 직접 확인되지 않은 내용
- 제안: 선택할 수 있는 방법이나 다음 행동
중요한 문서에는 세 종류를 섞지 말고 확인된 사실, 해석, 제안처럼 표시하도록 요청합니다.
원본과 대조하기
- 요약이나 추출 결과를 원본의 제목·문단·행과 대조합니다.
- 출처 링크가 실제 주장과 연결되는지, 날짜와 문서 버전이 맞는지 확인합니다.
- 합계, 비율과 날짜 계산은 계산 도구나 원본 데이터로 다시 계산합니다.
- 필수 항목, 예외와 반대 사례가 빠지지 않았는지 확인합니다.
- 입력에 없던 고유명사, 숫자나 승인 내용을 새로 만들지 않았는지 확인합니다.
정상·경계·실패 사례로 시험하기
- 대표 사례: 실제로 자주 들어오는 정상 입력에서 기대한 결과가 나오는가
- 경계 사례: 빈 값, 중복, 매우 긴 입력과 기준 바로 앞뒤의 값도 처리하는가
- 실패 사례: 파일 누락, 권한 없음과 도구 오류를 성공처럼 표시하지 않는가
- 예상 밖 입력: 모순된 지시나 형식을 깨는 입력에도 중요한 규칙을 지키는가
아래 결과를 원본과 대조해 검토해 주세요.
1. 확인된 사실, 추정과 제안을 구분합니다.
2. 각 핵심 주장에 근거가 있는지 표시합니다.
3. 숫자를 다시 계산하고 누락된 필수 항목을 찾습니다.
4. 대표·경계·실패 사례를 하나씩 제시합니다.
5. 확인할 수 없는 내용은 수정하지 말고 '확인 필요'로 표시합니다.개인이나 조직에 큰 영향을 주는 결과, 코드 실행과 외부 발송은 조직이 정한 담당자가 원본과 실행 결과를 보고 최종 승인합니다. 실행 경로에는 승인뿐 아니라 최소 권한, 실행 기록과 실패 시 중단 기준도 둡니다.
공식 근거
- OpenAI 안전 활용 권고 — 대표·적대적 입력 시험과 담당자 검토
- NIST AI 위험관리 프레임워크 핵심 기능 — 위험의 지속적인 측정·관리와 역할 문서화