AI가 대신하지 못하는 판단

1. AI가 대신하지 못하는 판단

카파시의 원문은 역할을 이렇게 나눕니다. 사람의 일은 자료를 고르고, 분석의 방향을 잡고, 좋은 질문을 던지고, 그것이 무슨 뜻인지 생각하는 것이다. 나머지 전부가 AI의 일이다. 이 절에서 앞의 네 가지를 구체적으로 봅니다.

AI는 주어진 자료를 잘 다룹니다. 어떤 자료를 구할지는 다릅니다.

위키의 품질은 결국 자료의 품질입니다. 경쟁사 공식 자료만 스무 건 모으면 그 회사들이 하고 싶은 말만 담긴 위키가 됩니다. 사용자 후기, 이직자 인터뷰, 실적 자료가 섞여야 균형이 잡힙니다.

AI에게 이 균형을 물어볼 수는 있습니다.

우리가 모은 자료의 출처를 종류별로 세어줘.
공식 발표, 기사, 사용자 후기, 내부 데이터로 나눠서.
편중된 쪽이 있으면 알려줘.

세는 것은 AI가 합니다. 그 편중이 문제인지, 문제라면 무엇을 더 구할지는 사람이 정합니다. 어떤 위키는 공식 자료만 있어도 되고, 어떤 위키는 그러면 안 됩니다.

인제스트할 때 AI는 자료의 모든 내용을 비슷한 무게로 다룹니다. 어느 부분이 우리에게 중요한지는 모릅니다.

5장에서 대화형 인제스트를 다룬 이유가 이것입니다. "이 부분은 짧게, 저 부분은 자세히"라는 판단이 문서의 쓸모를 결정합니다.

이건 위키의 목적을 아는 사람만 할 수 있습니다. 경쟁사 요금제 자료에서 요금표가 중요한 위키가 있고, 그 회사가 요금 구조를 어떻게 설명하는지가 중요한 위키가 있습니다.

8장에서 다룬 모순 처리입니다. 두 자료가 다른 말을 할 때 AI는 대개 최근 것을 택합니다. 그럴듯한 기본값이지만 틀릴 때가 있습니다.

이 판단에는 자료를 넘어선 맥락이 필요합니다. 그 업계가 어떻게 돌아가는지, 그 회사가 어떤 식으로 말하는지 같은 것입니다.

AI에게 판단을 맡기지 않는 대신, 판단할 재료를 달라고 시킵니다.

이 모순에 대해 판단은 하지 말고 재료만 줘.
- 각 자료의 성격 (공식/기사/커뮤니티)
- 발행 시점
- 원본의 해당 부분 인용
- 각 주장을 뒷받침하거나 반박하는 다른 자료가 위키에 있는지

가장 중요한 부분입니다. 위키에 정리된 것들을 보고 "그래서 우리가 뭘 해야 하나"를 정하는 일입니다.

AI는 여기서 그럴듯한 답을 냅니다. 경쟁사 세 곳이 무료 체험을 줄였다는 데이터를 주면, 우리도 줄이는 것이 좋겠다는 결론을 냅니다. 논리적으로 맞습니다.

그런데 그 결론은 우리 서비스의 성격, 팀의 여력, 지금 진행 중인 다른 일들, 사용자와의 신뢰 같은 것들을 모릅니다. 위키에 안 적혀 있고 적을 수도 없는 것들입니다.

그래서 판단을 요구하지 말고 재료를 요구합니다.

무료 체험 기간에 대해 위키에 있는 것을 정리해줘.

판단이나 제안은 하지 말고, 아래만 보여줘.
- 관련 사실과 근거
- 서로 어긋나는 것
- 우리가 아직 모르는 것

반대로 안심하고 맡길 것도 분명합니다.

이 목록의 공통점이 있습니다. 판단이 아니라 대조와 정리입니다. 그리고 이것들이 사람이 위키를 포기하게 만드는 바로 그 일들입니다.

위키를 몇 달 쓰다 보면 AI의 결과물이 대체로 맞다는 것을 알게 됩니다. 그때부터 검수를 건너뛰기 시작합니다.

이게 자연스럽고 위험합니다. 위키의 신뢰도는 서서히 무너지기 때문입니다. 하루아침에 큰 오류가 생기는 것이 아니라, 출처가 하나둘 빠지고 추론 표시가 흐려지다가, 어느 순간 위키를 못 믿게 됩니다.

최소한을 정해 둡니다.

새로 만들어진 문서는 반드시 엽니다. 갱신은 넘어가도 새 문서는 봅니다.

중요한 판단에 쓸 근거는 원본까지 확인합니다. 7장에서 정한 기준입니다.

한 달에 한 번은 문서 하나를 골라 처음부터 검증합니다. 무작위로 고릅니다. 여기서 문제가 나오면 그 시기의 다른 문서들도 봅니다.

세 번째가 특히 유용합니다. 표본 검사와 같은 원리입니다. 한 장을 제대로 보는 데 십 분이면 되고, 그 십 분이 위키 전체에 대한 신뢰를 유지시켜 줍니다.

다음 절에서 위키를 계속 굴러가게 하는 방법을 다룹니다.