그럴듯함은 증거가 아니다

AI가 만든 보고서에 출처 목록까지 붙어 있으면 제출해도 되겠다는 생각이 듭니다. 6장에서 맡길 과업과 책임의 경계를 정했다면, 이제 돌아온 결과를 무엇으로 믿을지 정할 차례입니다. 이 절에서는 법정과 정부 보고서의 사례를 보고, 주장과 원문을 대조하는 방법을 연습합니다.

1. 법원에 들어간 존재하지 않는 판례

2023년 미국의 Mata v. Avianca 사건에서는 변호사 측이 ChatGPT가 만든 가짜 판례와 인용을 법원에 제출했습니다. 6월 22일 제재 명령은 두 변호사와 로펌에 합계 미화 5,000달러를 연대해 지급하도록 했습니다.

문제는 틀린 서면을 한 번 제출한 데서 끝나지 않았습니다. 판례의 존재가 의심받은 뒤에도 제대로 확인하지 않고 가짜 내용을 옹호한 대응이 제재 판단에 들어갔습니다. AI를 썼다는 사실 자체보다, 실제 판례인지 확인하고 서면의 진실성을 지켜야 할 책임이 중요했던 사건입니다.

판례처럼 정해진 모양이 있는 문서는 특히 믿음직해 보입니다. 사건명, 법원 이름, 연도와 인용문이 한 줄에 모여 있으면 내용까지 확인된 느낌을 줍니다. 하지만 형식의 완성도는 그 사건이 실제로 있었다는 증거가 아닙니다. 5-3절에서 살펴본 환각의 성질이 업무 문서에서도 그대로 문제가 될 수 있습니다.

2. 정부에 낸 보고서도 예외는 아니었습니다

딜로이트가 호주 고용·노사관계부에 납품한 보고서도 오류로 문제가 됐습니다. 2025년 9월 17일 결재된 정부 내부 문서는 보고서의 오류와 AI 사용에 관한 계약상 고지 문제를 설명하고, 마지막 분할금 호주달러 97,587.11달러의 환급을 요구했다고 적었습니다. 계약 총액은 호주달러 439,142달러였으므로 계약 전액의 환급을 요구한 사건은 아닙니다.

두 사례가 내 업무와 멀게 느껴질 수 있습니다. 그러나 보고서에 통계 하나를 넣거나, 공지문에 규정 한 줄을 인용하는 순간에도 같은 문제가 생깁니다. 글을 읽는 사람이 그 문장을 근거로 판단한다면, 출처가 붙어 있는지만 볼 것이 아니라 출처가 실제로 그 문장을 뒷받침하는지 봐야 합니다.

3. 존재, 내용, 조건을 나눠 확인합니다

첫째는 존재입니다. 문서나 판례가 실제로 있는지, 제시한 주소가 그 원문으로 이어지는지 확인합니다. 제목만 검색 결과에 보이는 것과 발행기관의 원문을 여는 것은 다릅니다. 원문을 찾지 못했다면 확인되지 않았다고 남깁니다.

둘째는 내용입니다. 원문에서 해당 주장을 뒷받침하는 대목을 찾습니다. 실제 논문이 있어도, AI가 가져온 숫자나 인용이 그 안에 없을 수 있습니다. 원문에 적힌 문장과 내가 쓸 문장을 나란히 놓아야 어느 지점에서 의미가 바뀌었는지 보입니다.

셋째는 조건입니다. 누구를 조사했는지, 언제의 자료인지, 어떤 방법으로 측정했는지 봅니다. 특정 행사 참여자가 편리하다고 답한 결과를 모든 직장인의 생산성이 올랐다고 옮기면, 원문이 실재해도 주장은 틀립니다. 회사 발표인지 독립 연구인지도 같은 칸에 적어 둡니다.

확인한 결과를 단순히 “맞음”으로 끝내지 않습니다. 어떤 자료의 어느 부분으로 확인했는지 남겨야 다음 사람이 다시 열어 볼 수 있습니다. 날짜나 규정처럼 바뀌는 정보라면 어느 시점의 자료인지도 함께 남깁니다. 나중에 바뀐 내용을 다시 판단할 때 필요한 흔적입니다.

4. AI에게 검토를 시킬 때 주는 것

이 확인 작업도 AI에게 맡길 수 있습니다. 작성에 쓰지 않은 새 대화를 열고, 초안과 원자료를 함께 줍니다. 초안의 주장을 작은 문장으로 나눈 뒤 근거를 대응시키게 하면, 한 문장에 사실과 추측이 섞인 곳을 찾는 데 도움이 됩니다.

검색 기능이 있는 도구라면 발행기관의 원문을 찾게 할 수 있습니다. 검색할 수 없거나 원문에 접근하지 못했다면 그 상태를 보고하게 합니다. 도구가 없는데도 “검색해서 모두 확인했다”고 적힌 답은 검증 완료로 받지 않습니다. 확인했다는 말보다 실제로 열 수 있는 자료와 대응하는 대목이 필요합니다.

같은 AI에게 “정말 맞아?”라고 되묻는 것만으로는 원문 대조를 대신할 수 없습니다. 앞서 만든 답을 설명하는 대화가 계속될 수 있기 때문입니다. 별도의 검토에서도 원자료를 직접 주고, 근거가 없는 주장은 보류하도록 기준을 정합니다.

사람이 모든 원문을 처음부터 다시 읽는 것으로 끝낼 필요는 없습니다. 검토 보고에서 근거가 있는 주장, 충돌하는 주장, 미확인 주장을 나누고 중요한 결론에 남은 빈칸을 판단합니다. 법률이나 돈이 걸린 결론은 책임 있는 담당자가 필요한 전문 검토까지 거쳐 받아들일지 정합니다.

5. 오류를 발견하면 고칠 범위를 찾습니다

틀린 인용 한 줄을 지웠다고 문서가 바로 회복되지는 않습니다. 그 인용으로 뒷받침하던 결론도 함께 살펴봐야 합니다. 근거를 뺐는데 결론을 그대로 두면 같은 오류가 다른 모양으로 남습니다.

예를 들어 가상의 설문에서 “쓰기가 편했다”는 답만 있는데, 초안이 “업무시간이 절반으로 줄었다”고 썼다면 시간 절감 주장을 지웁니다. 편리함에 대한 응답으로 좁혀 쓰거나, 시간을 실제로 측정한 자료가 필요하다고 표시합니다. 부족한 근거를 다른 그럴듯한 숫자로 채우지 않습니다.

이미 전달한 문서라면 수정한 부분과 영향받는 결론을 정리해 담당자에게 알립니다. AI에게는 같은 유형의 오류가 다른 곳에도 있는지 찾아보게 할 수 있습니다. 결과를 받아들이는 기준을 고치면 이후 반복에서도 같은 실수를 줄일 수 있습니다.

6. 따라 해 보기

아래 자료는 모두 이 실습을 위해 만든 가상 자료입니다. 인터넷 검색 없이도 주어진 근거가 초안을 어디까지 뒷받침하는지 확인할 수 있습니다.

아래 가상 초안을 원자료와 대조해 줘. 실제 조사나 기관의 자료가 아니야.
외부 검색은 하지 말고, 주어진 자료로 확인할 수 있는 것만 판단해.

[가상 원자료 A]
가상 새봄센터가 체험 참가자 20명에게 질문했다.
18명이 "안내문 초안을 만들기 편했다"고 답했다.
다른 직업군을 조사하지 않았고 업무시간이나 생산량도 측정하지 않았다.

[가상 원자료 B]
결과는 센터 내부 체험 메모다. 전국 대표 표본 조사가 아니다.

[검토할 초안]
전국 직장인의 90%는 AI로 생산성이 두 배가 되었다.
가상 새봄센터의 체험으로 검증됐으며 자료 C도 같은 결론을 낸다.

1. 초안을 작은 주장으로 나눠 줘.
2. 주장, 대응 원문, 판정, 고칠 문장 순서로 표를 만들어 줘.
3. 원자료에 없는 시간 절감·생산성 수치를 추가하지 마.
4. 자료 C는 원문이 제공되지 않았다고 표시해.
   실제로 존재하지 않는다고 단정하지는 마.
5. 마지막에 이 자료만으로 쓸 수 있는 짧은 문장을 만들어 줘.

이런 답이 오면 잘된 것: 18명은 체험 참가자라고 쓰고, 전국 직장인이나 생산성 두 배라는 결론을 받아들이지 않습니다.

이렇게 오면 이렇게 다시 말하기: 90%라는 계산만 확인했다면 “분모와 측정 항목까지 비교해 줘. 편리함 응답을 생산성 향상으로 바꿀 수 있는지 판단해 줘”라고 말합니다.

참고 자료

• Mata v. Avianca 제재 명령, 미국 뉴욕 남부 연방지방법원·뉴햄프셔 연방지방법원 제공 사본, 2023-06-22.
• Ministerial and Secretarial briefings regarding the Targeted Compliance Framework, 호주 고용·노사관계부, 관련 내부 문서 2025-09-17.