AI 답을 검증하는 세 가지 질문

1. AI 답을 검증하는 세 가지 질문

질문을 잘 던져 답을 받았어도 그 답이 맞는지는 별개 문제입니다. AI는 그럴듯하지만 틀린 답을 줄 수 있습니다. 여기서는 바이브 분석의 두 번째 핵심 역량인 검증을 다룹니다. 코드를 읽지 못해도 검증할 수 있는 방법이 있습니다.

1.1 그럴듯한 오답의 위험

AI는 "모르겠어요"라고 잘 말하지 않습니다. 틀린 답도 자신 있게, 그럴듯하게 내놓습니다. 그래서 바이브 분석에서 가장 위험한 것은 AI가 틀리는 것이 아니라, 틀린 것을 모르고 믿는 것입니다.

받은 답이 틀렸을 수 있는 이유는 앞에서 이미 두 가지를 보았습니다.

• 모호한 질문은 AI가 채웁니다: 3장 3절에서 본 대로, 모호하게 물으면 AI가 기준을 임의로 골라 내가 원한 답이 아닐 수 있습니다.
• AI는 환각을 일으킵니다: 3장 1절에서 본 대로, 사실이 아닌 내용을 그럴듯하게 만들어 아예 틀린 답을 낼 수도 있습니다.

바이브 분석은 AI를 믿는 것이 아니라, AI를 검증할 줄 아는 것입니다. 이것이 이 과정 전체의 핵심 메시지입니다.

1.2 검증 3질문

검증은 세 가지 질문으로 합니다.

1.2.1 숫자가 상식적인가

규모를 직관과 비교합니다. 이 숫자가 내가 예상한 규모와 맞는지, 부분의 합이 전체와 맞는지, 불가능한 값은 없는지 봅니다. 예를 들어 카테고리별 매출을 모두 더한 값은 전체 매출과 같아야 합니다. 월별 매출 합계가 전체 매출보다 크다면 무언가 잘못된 것입니다. 음수 수량이나 100%를 넘는 비율도 있을 수 없는 값입니다.

1.2.2 코드가 내 의도대로인가

코드를 읽지 못해도 AI에게 물어보면 됩니다.

방금 분석에서 무엇을 어떤 기준으로 계산한 거야? 한 줄로 설명해줘.

이 질문 하나로 자주 어긋나는 지점을 잡아낼 수 있습니다. '매출'을 물었는데 주문 건수를 센 것은 아닌지, 합계여야 하는데 평균으로 했는지, 빈 값인 결측치(missing value)를 처리했는지 확인합니다. 결측치는 처리하지 않으면 결과가 조용히 왜곡됩니다.

1.2.3 다른 방법으로도 같은가

두 번째 경로로 한 번 더 확인합니다. 같은 것을 다른 방식으로 물어 결과가 같은지 보거나, 데이터에서 값 한두 개를 직접 눈으로 확인합니다.

다른 방법으로 한 번 더 계산해서 결과가 같은지 확인해줘.

이렇게 다른 방법으로 한 번 더 확인하는 것을 교차 검증(cross-check)이라고 합니다.

1.3 AI가 자주 틀리는 세 지점

검증을 어디에 집중해야 하는지도 알아 두면 좋습니다. AI가 자주 틀리는 유형은 세 가지입니다.

집계(aggregation)란 합계, 평균, 개수 등으로 데이터를 요약하는 것입니다. 집계 방식이 하나만 어긋나도 숫자가 완전히 달라집니다. 시각화도 마찬가지입니다. 비율을 막대로, 추세를 파이로 그리는 등 차트 종류가 맞지 않으면 같은 데이터도 다르게 읽힙니다.

1.4 함정에 빠지고 빠져나오기

실제 장면으로 세 질문을 적용해 봅니다. orders.csv를 올려 두고 일부러 막연하게 묻습니다.

매출 알려줘

AI가 이렇게 답했다고 해봅시다. "평균 주문 금액은 약 51,642원입니다." 차트도 함께 나옵니다.

첫 번째 질문, 숫자가 상식적인가. 나는 1년치 총 매출을 생각했는데 이 숫자는 건당 평균 같습니다. 1년 매출이 5만 원일 리는 없으니 규모가 너무 작습니다. 이상합니다.

두 번째 질문, 코드가 내 의도대로인가. AI에게 확인합니다.

방금 무엇을 어떤 기준으로 계산한 거야?

"전체 주문의 평균 금액(mean)입니다." 잡았습니다. 나는 매출 합계를 원했는데 AI는 평균을 골랐습니다.

왜 이런 일이 생겼을까요. 3장 3절에서 배운 그대로입니다. '매출'이라는 모호한 표현을 AI가 임의로 '평균'으로 해석한 것입니다. 원인을 알았으니 질문을 수정합니다.

전체 기간의 매출 총액(합계)을 알려줘

이제 약 1억 8,421만 원이라는, 내가 원한 답이 나옵니다.

이 흐름이 바이브 분석에서 가장 중요한 안전장치입니다.

검증이라는 한 단계가, 그럴듯한 오답을 그냥 믿는 사고를 막아 줍니다.

1.5 직접 잡아내기

이번에는 여러분이 직접 함정에 빠졌다가 나와 봅니다. 일부러 모호하게 묻습니다.

잘 팔리는 상품 보여줘

결과를 받으면 기준을 확인합니다.

무슨 기준으로 정렬한 거야? 수량이야, 매출이야?

그리고 명확하게 수정합니다.

매출 기준 상위 10개 상품을 막대그래프로 보여줘

이 데이터에서는 수량 기준 1위가 머그컵(644개)이고 매출 기준 1위가 스마트워치(2,280만 원)입니다. AI가 '잘 팔리는'을 어느 쪽으로 해석했는지 확인해 보세요. 만약 검증하지 않았다면 어떤 오해가 생겼을지도 생각해 봅니다. 수량 기준 답을 매출 기준으로 오해했다면 "머그컵이 우리 매출을 이끈다"는 엉뚱한 결론에 이르렀을 것입니다.

결과를 받을 때마다 아래 목록을 적용하면 됩니다.

• 숫자가 상식적인 규모인가?
• 부분의 합이 전체와 맞나?
• AI가 어떤 기준으로 집계했는지 확인했나?
• 결과의 항목과 열이 실제 데이터에 있나?
• 차트의 축과 종류가 적절한가?

1.6 직접 해보기

1. orders.csv로 "카테고리별 매출 합계"를 구한 뒤, 다섯 카테고리의 합이 총 매출 약 1억 8,421만 원과 맞는지 직접 더해 확인합니다.
2. 아무 분석이나 하나 요청한 뒤 "방금 무엇을 어떤 기준으로 계산했어?"라고 물어, 설명이 내 의도와 같은지 확인합니다.
3. 같은 질문을 두 가지 방식으로 던져 결과가 같은지 교차 확인해 봅니다. 예를 들어 "고객 수"를 "고객ID의 고유 개수"와 "한 번이라도 주문한 고객 수"로 각각 물어 봅니다.
4. AI가 자주 틀리는 세 유형과 각각을 알아채는 방법을 자기 말로 정리해 봅니다.
5. 코드를 못 읽어도 의도대로 계산했는지 확인하는 방법이 무엇인지 한 문장으로 답해 봅니다.