환각은 왜 생길까

AI가 소개한 자료의 제목과 설명이 꼭 맞아 보여 검색했는데, 정작 그 자료를 찾을 수 없습니다. 문장이 자연스럽고 출처처럼 보이는 항목까지 있어도 사실을 확인한 답이라고 단정할 수는 없습니다. 이 절에서는 이런 답이 생기는 이유와, 원문·검색·출처를 이용해 줄이는 방법을 알아봅니다.

1. 문장이 이어지는 것과 사실이 맞는 것

환각(Hallucination)은 AI가 사실과 다르거나 근거 없는 내용을 그럴듯한 답으로 만들어 내는 현상을 말합니다. 없는 문헌이나 인용문을 만들기도 하고, 실제 자료에 없는 설명을 덧붙이기도 합니다. 답 전체가 엉뚱하기보다 맞는 내용 사이에 오류가 섞이면 알아차리기 더 어렵습니다.

앞 절에서 본 언어 모델의 토대를 떠올려 보세요. 지금까지의 맥락에 자연스럽게 이어질 답을 만드는 능력이 있다고 해서 그 답의 모든 문장이 실제 사실임을 입증한 것은 아닙니다. 질문에 맞는 설명 형식을 잘 갖추는 능력과 근거를 확인하는 과정 사이에 차이가 있습니다.

예를 들어 가상의 교육장 안내문을 만들면서 주차장이 있다는 정보를 주지 않았는데, AI가 흔한 행사 안내 형식을 따라 “무료 주차가 가능합니다”라고 덧붙였다고 해 보겠습니다. 문장은 자연스럽고 독자에게도 유용해 보입니다. 그러나 그 교육장의 주차 여부는 확인한 적이 없습니다. 필요한 빈칸이 사실처럼 채워진 것입니다.

여기서 중요한 것은 문장이 얼마나 자신 있게 쓰였는지가 아닙니다. “가능합니다”라는 말투도 근거가 없을 수 있고, “아마”라는 말투도 정확한 자료를 바탕으로 할 수 있습니다. 답의 말투로 판단하기보다 무엇을 근거로 썼는지 볼 수 있어야 합니다.

2. 출처를 요구하되, 모양에서 멈추지 않습니다

가장 먼저 바꿀 수 있는 요청은 근거를 함께 받는 것입니다. “관련 제도를 설명해 줘”에 더해 “각 설명을 확인할 수 있는 공식 원문 주소와 적용 시점을 붙여 줘”라고 부탁할 수 있습니다. 주장과 확인할 자료가 연결되어야 다음 검토가 가능합니다.

다만 출처를 달라고 했다고 오류가 없어지지는 않습니다. 주소 자체가 존재하지 않을 수도 있고, 실제 페이지가 열리더라도 그 내용이 주장을 뒷받침하지 않을 수 있습니다. 같은 기관의 다른 제도를 근거로 붙이거나 오래된 안내를 현재 규정으로 소개할 수도 있습니다.

확인할 때는 단계가 이어져야 합니다. 실제 자료가 있는지, 그 자료에 해당 내용이 있는지, 그 내용이 지금 질문한 대상과 시점에 맞는지 봅니다. 긴 참고 목록보다 주장 옆에 확인 위치가 있는 짧은 근거표가 더 유용할 때가 많습니다.

이 대조도 AI에게 맡길 수 있습니다. 검색 가능한 다른 대화에 주장과 주소를 주고 실제 원문을 열어 확인하도록 시킵니다. 접근하지 못한 자료는 확인하지 못했다고 표시하게 합니다. 원문을 읽지 못한 채 제목만 보고 통과시키면 검토가 끝난 것이 아닙니다.

3. 알고 싶은 사실의 원문을 줍니다

내 회사의 행사 안내나 제품 규정처럼 정해진 자료가 있다면 원문을 주는 편이 좋습니다. 모델이 일반적인 행사나 제품의 모습을 상상해 채우는 대신, 이번 업무의 실제 자료를 바탕으로 답할 수 있기 때문입니다.

이때 “이 자료만 사용하고, 없는 정보는 확인 필요로 표시해 주세요”라는 기준을 함께 줍니다. 주차와 환불 규정이 빠진 안내문이라면 그 빈칸을 남겨야 합니다. 매끄러운 완성본을 얻는 것보다 무엇이 확정됐고 무엇이 아직 없는지 알아보는 편이 다음 행동을 정하기 쉽습니다.

원문을 주었는데도 오류가 남을 수는 있습니다. 긴 자료에서 다른 항목을 잘못 연결하거나, 적용 대상과 예외를 빼고 요약할 수 있습니다. 따라서 “주장, 근거 문장, 원문 위치”를 함께 받으면 대조할 지점이 보입니다. 검토하는 AI도 같은 원문을 기준으로 확인할 수 있습니다.

자료가 여러 개라면 우선순위를 알려 주세요. 확정 공고와 기획 초안이 함께 있을 때 어느 것이 기준인지 정해야 합니다. 서로 다른 내용을 아무 설명 없이 주고 하나의 정답을 기대하기보다, 충돌을 표시하고 결정이 필요한 항목으로 보고하게 할 수 있습니다.

4. 바뀌는 사실은 검색해서 확인합니다

오늘의 가격이나 바뀐 신청 일정은 오래된 지식만으로 답할 수 없습니다. 검색이 가능한 기능을 켜고 공식 자료를 실제로 조회하도록 요청합니다. 답에 조회한 주소와 확인 날짜를 남기면 나중에 무엇을 기준으로 했는지 알 수 있습니다.

검색도 재료를 구하는 과정입니다. 검색 결과에 나왔다고 모두 맞는 자료가 되는 것은 아닙니다. 질문과 무관한 대상의 안내를 가져왔거나, 여러 지역 중 다른 지역의 조건을 읽었다면 검색을 했어도 답은 틀릴 수 있습니다. 자료의 최신성과 적용 범위를 함께 확인해야 합니다.

그래서 “검색했으니 정확하다”보다는 “어떤 원문에서 어떤 조건을 확인했다”는 보고가 좋습니다. 검색과 원문 제공, 출처 대조는 서로 대신하는 기능이 아닙니다. 필요한 자료를 얻고 그 자료로 주장을 확인하는 흐름 안에서 함께 쓰는 방법입니다.

5. 따라 해 보기

아래 자료는 실습을 위해 만든 가상의 안내입니다. 외부 검색 없이 이 자료 안에서 답하게 하여, 없는 정보를 남겨 두는지 확인해 보겠습니다.

아래 가상 안내문에 근거해서만 질문에 답해 주세요.
없는 내용은 상식으로 보태지 말고 '자료에 없음'이라고 적어 주세요.
결과는 질문, 답, 근거 문장으로 된 표로 써 주세요.
답을 쓴 뒤 근거 문장에 없는 내용을 덧붙였는지 한 번 더 대조해 주세요.
가상의 기관이므로 인터넷에서 찾지 마세요.

[가상 안내문]
달빛배움터 문서 정리 연습회는 온라인으로 진행합니다.
대상은 AI를 처음 쓰는 직장인입니다.
참가비는 무료입니다.
다시보기 영상은 제공하지 않습니다.

[질문]
행사 방식은 무엇인가요?
참가비는 얼마인가요?
수료증을 받을 수 있나요?
행사 날짜는 언제인가요?
다시보기 영상을 받을 수 있나요?

이런 답이 오면 잘된 것: 수료증과 행사 날짜에는 “자료에 없음”이 표시되고, 나머지 답에는 안내문의 근거가 붙습니다.

이렇게 오면 이렇게 다시 말하기: 수료증을 준다고 했다면 “수료증을 준다는 원문은 없습니다. 근거 없는 답을 자료에 없음으로 고쳐 주세요”라고 요청하세요.

답이 맞았다면 같은 자료로 매끄러운 홍보문을 만들어 달라고 해 보세요. 그 문장에도 수료증이나 날짜처럼 없던 정보가 추가되지 않았는지 볼 수 있습니다. 정보를 표에서 문장으로 바꿀 때에도 근거의 범위는 그대로 유지되어야 합니다.

6. 틀린 답을 줄이는 일을 업무에 넣습니다

환각을 줄이려면 작성하는 작업에 근거 대조를 붙일 수 있습니다. 작성할 때는 결과를 만들고, 검토할 때는 원문과의 불일치를 찾도록 역할과 기준을 나눕니다.

검토 결과도 “문제없음” 한마디보다 확인한 주장과 근거가 남아 있으면 좋습니다. 찾지 못한 내용과 충돌하는 자료를 보고받으면 사람이 무엇을 더 정해야 하는지 알 수 있습니다. 법과 돈, 사람의 권리에 영향을 주는 결정에서는 이렇게 확보한 근거를 바탕으로 사람이 최종 판단해야 합니다.

저는 모르는 것이 드러난 보고가 빈칸을 감춘 완성본보다 다음 일을 정하기 좋다고 생각합니다. 무엇을 확인해야 할지 알 수 있기 때문입니다. 다음 절에서는 이런 작업을 계속 해 볼 도구를 고르고, 개인화와 데이터 설정을 준비하겠습니다.