AI에게 제대로 물어보기

1. AI에게 제대로 물어보기

1교시의 마지막 15분입니다. 9장 2절에서 AI에게 말로 시키는 감을 잡았고, 모호하게 물으면 AI가 기준을 마음대로 정한다는 것도 봤습니다. 여기서는 그 경험을 두 개의 공식으로 정리합니다. 좋은 질문을 만드는 세 요소, 그리고 받은 답을 검산하는 세 질문입니다. 그런 다음 오늘 오후에 쓸 입도객 데이터로 한 바퀴 돌려 봅니다. 온라인 과정 3장 3절과 4절을 압축한 내용입니다.

1.1 좋은 질문의 공식, 맥락과 요청과 형식

9장 2절에서 "많이 팔린 상품"이라고 물었더니 AI가 수량인지 매출인지를 제멋대로 골랐습니다. AI는 여러분의 데이터도, 회사 사정도 모릅니다. 그래서 좋은 질문에는 세 가지가 들어가야 합니다. 이 데이터가 무엇인지 말해 주는 맥락, 무엇을 알고 싶은지 구체적으로 적는 요청, 어떤 모양으로 받을지 정하는 형식입니다. 온라인 과정에서는 요청을 목표라고 불렀는데 같은 것입니다.

좋은 질문은 길어서 좋은 것이 아니라 모호함이 없어서 좋은 것입니다. "매출"은 합계인지 평균인지, "잘 팔리는"은 수량인지 매출인지, "최근"은 1주인지 1달인지를 정해 주지 않으면 AI가 대신 정합니다. 오후부터는 형식 자리에 "HTML 파일로", "Chart.js 선그래프로", "지도 위에 점으로"처럼 결과물의 형태가 구체적으로 붙습니다. 맥락과 요청은 그대로 두고 형식만 바꿔 가며 쓰게 됩니다.

한 번에 원하는 결과가 안 나와도 처음부터 다시 묻지 않습니다. "상위 5개만", "색을 카테고리별로", "값 레이블 추가"처럼 이어서 고쳐 달라고 하면 됩니다. 복잡한 요청은 한 번에 하나씩 쪼개서 시키는 편이 정확합니다.

1.2 답을 검산하는 세 질문

AI는 "모르겠어요"라고 잘 말하지 않습니다. 틀린 답도 자신 있게, 그럴듯하게 내놓습니다. 그래서 위험한 것은 AI가 틀리는 것이 아니라 틀린 줄 모르고 믿는 것입니다. 답을 받으면 항상 세 가지를 묻습니다.

• 숫자가 상식적인가: 규모가 내 직관과 맞는지, 부분의 합이 전체와 맞는지, 음수 수량이나 100%를 넘는 비율 같은 불가능한 값은 없는지 봅니다.
• 내 의도대로 계산했나: 코드를 못 읽어도 됩니다. "방금 무엇을 어떤 기준으로 계산한 거야? 한 줄로 설명해줘"라고 물으면 합계와 평균을 혼동했는지, 빈 값을 처리했는지 드러납니다.
• 다른 방법으로도 같은가: 같은 것을 다른 방식으로 구하거나, 다른 AI에게 시켜 결과를 대조합니다.

AI가 자주 틀리는 자리도 정해져 있습니다. 데이터에 없는 열이나 항목을 지어내는 것, 합계와 평균을 바꾸거나 빈 값을 무시하는 것, 그리고 y축을 0에서 시작하지 않는 식으로 차트가 과장되는 것입니다. 9장 4절의 착시 표가 세 번째 경우를 다룹니다.

1.3 데이터 올리고 무엇인지 묻기

이제 10분 동안 두 공식을 실제로 씁니다. 9장 2절에서 만든 Colab 노트북의 파일 패널에 jeju_visitors.csv를 추가로 올립니다. Gemini 채팅에 첫 질문을 던집니다.

jeju_visitors.csv를 불러와서 이 데이터가 무엇인지 요약해줘.
열 이름, 기간, 행 수, 각 열의 의미를 알려줘.

연월, 내국인, 외국인, 합계 네 개 열에 2022년 1월부터 2024년 12월까지 36행이 있다는 답이 나오면 정상입니다. 처음 보는 데이터일수록 이 질문을 건너뛰지 않습니다. 열 이름이 무엇을 뜻하는지 AI와 내가 같은 이해를 갖고 있어야, 뒤의 모든 계산이 같은 기준 위에 섭니다.

1.4 첫 분석 두 가지

이제 맥락 위에 요청과 형식을 붙여 두 가지를 더 묻습니다.

연도별로 내국인, 외국인, 합계를 더한 표를 만들고,
합계 대비 외국인 비중을 소수점 한 자리 %로 같이 보여줘.

합계는 세 해 모두 1,350만에서 1,370만 사이로 거의 같은데, 안을 보면 내국인이 줄고 외국인이 그 자리를 메우고 있습니다. 9장 4절에서 본 대로 합계 하나만 보면 놓치는 변화입니다.

2024년에 합계가 가장 많은 달과 가장 적은 달을 알려줘.
각각 몇 명인지도 같이.

가장 많은 달은 8월로 약 139.8만 명, 가장 적은 달은 1월로 약 92.3만 명입니다. 여름 성수기와 겨울 비수기가 데이터에 그대로 보입니다. 2교시에서 이 계절 패턴을 세 해에 걸쳐 확인하고 차트로 옮깁니다.

1.5 받은 답의 검산

1.2의 세 질문을 방금 받은 답에 그대로 적용합니다.

• 숫자가 상식적인가: 제주 연간 입도객이 1,300만 명대라는 것은 뉴스에서 듣던 규모와 어긋나지 않습니다. 외국인 비중이 1%에서 11%로 뛴 것도 방향은 상식적입니다. 다만 이 데이터는 가상이므로 실제 통계와 숫자를 맞추려 하지는 않습니다.
• 내 의도대로 계산했나: 외국인 비중을 합계로 나눴는지, 내국인으로 나눴는지 물어봅니다. 두 계산은 값이 다릅니다.

방금 외국인 비중은 무엇을 무엇으로 나눈 거야? 한 줄로 설명해줘.

• 다른 방법으로도 같은가: 연도별 합계를 다른 방식으로 한 번 더 구해 봅니다.

합계 열을 쓰지 말고, 내국인과 외국인을 따로 더한 뒤 합쳐서
연도별 합계를 다시 계산하고 아까 표와 같은지 확인해줘.

두 값이 같으면 합계 열이 제대로 만들어진 데이터라는 것까지 확인한 셈입니다. 다르면 원본 데이터의 합계 열이 잘못됐거나 AI가 어딘가에서 빠뜨린 것이니, 그 자리에서 잡아냅니다.

이 네 칸이 오늘 하루 종일 반복되는 리듬입니다. 2교시와 3교시에서 데이터가 바뀌고 산출물이 차트에서 지도로, 지도에서 대시보드로 커질 뿐, 순서는 같습니다.

1.6 Claude에도 같은 질문을

시간이 남는 분은 교차 확인을 하나 더 합니다. claude.ai에서 새 대화를 열고 같은 jeju_visitors.csv를 첨부한 뒤, 1.4의 첫 프롬프트를 그대로 붙여 넣습니다. 연도별 표와 외국인 비중이 Gemini의 답과 같은지 비교합니다.

두 AI가 같은 답을 내면 그 숫자는 믿고 다음으로 갑니다. 다르면 어느 쪽이 무엇을 다르게 계산했는지 각각에게 물어 원인을 찾습니다. 서로 다른 도구로 같은 것을 구해 보는 것이 세 번째 질문, "다른 방법으로도 같은가"를 가장 확실하게 실행하는 방법입니다. 오후에 Claude가 대시보드를 만들 때도 카드에 찍힌 숫자를 Gemini의 집계와 대조하는 식으로 같은 검산을 합니다.

1.7 직접 해보기

1. 1.4의 두 번째 프롬프트를 바꿔, 2022년과 2023년의 최고와 최저 달도 구해 세 해가 같은 달인지 비교해 봅니다.
2. 외국인 비중을 합계 기준이 아니라 내국인 대비 비율로 다시 계산해 달라고 요청하고, 두 값이 왜 다른지 설명해 봅니다.
3. 1.2의 세 질문 중 오늘 데이터에서 가장 잡아내기 쉬운 것과 어려운 것이 무엇인지, 이유와 함께 한 줄씩 적어 봅니다.
4. Gemini와 Claude의 답이 달랐던 항목이 있었다면 무엇이었고 어느 쪽이 맞았는지 기록해 둡니다. 없었다면 두 도구를 어떤 기준으로 나눠 쓸지 자기 말로 정리해 봅니다.