바이브 데이터 분석이란
1. 바이브 데이터 분석이란
오리엔테이션에서 바이브 데이터 분석을 "AI에게 말로 시키는 데이터 분석"이라고 소개했습니다. 여기서는 이 정의를 한 단계 더 정확하게 다듬고, 왜 지금 이런 방식이 가능해졌는지, 그리고 사람과 AI가 각각 무엇을 맡는지 정리합니다. 마지막에는 Gemini로 첫 분석을 직접 해봅니다.
1.1 한 문장으로 끝나는 분석
먼저 실제 장면부터 보겠습니다. 주문 데이터를 올려둔 노트북에서 아래 한 문장을 입력합니다.
매출이 가장 높은 상위 5개 상품을 막대그래프로 보여줘
AI는 이 한 문장을 받아 네 단계를 스스로 처리합니다.
걸린 시간은 약 30초, 직접 작성한 코드는 0줄입니다. 예전 같으면 데이터를 읽는 코드, 상품별로 묶어 합치는 코드, 정렬하는 코드, 그래프를 그리는 코드를 각각 알아야 했습니다. 이제 그 네 가지를 AI가 대신합니다.
방금 본 장면을 한 문장으로 줄이면 바이브 데이터 분석의 정의가 됩니다.
실행은 AI에게, 사고는 사람이
바이브 데이터 분석은 분석의 실행(코드 작성과 계산)은 AI에게 맡기고, 사람은 무엇을 분석할지와 결과가 무엇을 의미하는지에 집중하는 분석 방식입니다.
1.2 흔한 오해, "그럼 분석을 몰라도 되나요?"
도구를 AI가 대신 다뤄 주니 분석 자체를 몰라도 된다고 생각하기 쉽습니다. 절반만 맞는 이야기입니다. 도구, 즉 코드는 몰라도 됩니다. 하지만 분석적 사고는 오히려 더 중요해집니다.
바이브 분석은 분석을 없애는 것이 아닙니다. 코드 작성이라는 중간 단계 하나를 AI가 대신할 뿐입니다. "무엇을 왜 보는가"는 여전히 사람의 몫이고, 이 부분이 부실하면 AI가 아무리 빨라도 쓸모없는 결과가 빠르게 나올 뿐입니다.
1.3 가능해진 배경
이 방식이 갑자기 가능해진 이유는 거대 언어 모델(LLM, Large Language Model)의 발전에 있습니다. 세 가지가 맞물렸습니다.
- 자연어를 코드로: GPT, Gemini, Claude 같은 LLM이 사람의 말을 코드로 바꾸는 일을 매우 잘하게 되었습니다.
- 정형화된 패턴: 데이터 분석 코드는 pandas나 matplotlib처럼 쓰는 패턴이 비교적 일정합니다. 그래서 AI가 유독 잘하는 영역입니다.
- 장벽의 소멸: 그 결과 분석을 가로막던 코드 작성이라는 장벽이 사실상 사라졌습니다.
| 구분 | 예전 | 지금 (바이브) |
|---|---|---|
| 코드 작성 | 사람이 직접 | AI가 대신 |
| 사람의 집중 | 문법, 에러 해결 | 질문, 판단, 해석 |
| 신뢰도 | 낮아 실무 적용 어려움 | 실무에 쓸 만큼 발전 |
기술이 코드 작성을 대신해 주면서, 사람은 더 가치 있는 일인 질문하고 해석하는 일에 집중할 수 있게 되었습니다.
1.4 데이터 분석 사고 루프
분석은 한 번에 끝나지 않습니다. 질문에서 시작해 데이터를 확인하고, 분석하고, 결과를 해석한 뒤 다시 새로운 질문으로 돌아오는 순환입니다. 이것을 데이터 분석 사고 루프라고 부르겠습니다.
네 칸 중 AI가 대신해 주는 것은 3번 분석 한 칸뿐입니다. 질문이 부실하면 분석도 부실해집니다. 데이터 분야에서 오래된 원칙인 "Garbage In, Garbage Out", 곧 부실한 입력은 부실한 결과를 낳는다는 말이 여기서도 그대로 적용됩니다.
그래서 바이브 분석가는 코드 대신 세 가지 역할을 맡습니다.
- 질문하는 사람: 막연한 질문 대신 구체적인 질문을 던집니다. "데이터 분석해줘"가 아니라 "월별 매출 추이를 선그래프로, 전년 대비 증감률도 같이"라고 묻습니다.
- 판단하는 사람: AI의 답이 맞는지 검증합니다. AI는 그럴듯하지만 틀린 답을 줄 수 있습니다. 합계가 원본 데이터 규모와 맞는지, 존재하지 않는 열을 쓰지는 않았는지 확인합니다.
- 해석하는 사람: 숫자를 비즈니스 의미로 바꿉니다. "재구매율 30%"는 좋은 것인지 나쁜 것인지 업종과 목표에 따라 다르고, 이 판단은 사람만 할 수 있습니다.
1.5 분석의 표준 절차, KDD
사고 루프는 분석을 대하는 태도입니다. 이 태도를 실제 작업 순서로 펼친 것이 데이터 분석 분야에서 오래 써 온 표준 절차, KDD입니다. KDD는 Knowledge Discovery in Databases, 곧 "데이터에서 지식을 찾아내는 과정"의 줄임말입니다. 1990년대에 데이터 마이닝 연구자들이 정리한 틀이지만, 지금도 머신러닝, 인공지능, 데이터 시각화 같은 분야에서 같은 뼈대를 씁니다. AI에게 분석을 시키는 지금도 마찬가지입니다.

그림 아래쪽을 보면 데이터가 단계마다 모습을 바꿉니다. 처음에는 그냥 쌓여 있는 데이터였다가, 분석할 부분만 고른 목표 데이터가 되고, 지저분한 값을 걸러 낸 전처리 데이터, 분석에 맞게 열을 만들고 고친 변환 데이터를 거쳐, 반복되는 패턴이 드러나고, 마지막에 업무에 쓸 수 있는 지식이 됩니다. 다섯 단계의 작업이 여섯 가지 모습의 데이터를 잇는 구조입니다.
| 단계 | 하는 일 | 쇼핑몰 데이터라면 |
|---|---|---|
| 1. 데이터셋 선택 (Selection) | 비즈니스를 이해하고 분석 목표를 정한 뒤, 그에 맞는 데이터를 고릅니다. | "연말 매출이 왜 올랐나"를 보려고 orders.csv에서 최근 1년 주문을 고릅니다. |
| 2. 데이터 전처리 (Preprocessing) | 잡음, 이상치, 결측치(빈 칸)를 찾아 걸러 냅니다. 데이터가 모자라면 1단계로 돌아가 더 고릅니다. | 금액이 비어 있는 주문, 두 번 들어간 주문, 테스트로 넣은 0원 주문이 있는지 찾아보고 뺍니다. |
| 3. 데이터 변환 (Transformation) | 목적에 맞게 새 열을 만들거나 고르고, 필요하면 학습용과 검증용으로 나눕니다. | 주문일자에서 "월" 열을 만들고, 매출을 주문 수로 나눠 객단가 열을 만듭니다. |
| 4. 데이터 마이닝 (Data Mining) | 목적에 맞는 기법으로 패턴을 찾습니다. 분류, 예측, 묶기 등이 여기에 들어갑니다. | 월별 추세, 카테고리별 매출, 상위 20% 고객의 매출 비중을 구합니다. |
| 5. 결과 평가 (Interpretation/Evaluation) | 찾은 패턴이 분석 목표에 맞는지 해석하고 평가한 뒤, 업무에 씁니다. | "연말 상승은 선물용 상품이 이끌었다"는 해석이 숫자와 맞는지 확인하고, 맞다면 다음 연말 재고 계획에 반영합니다. |
이 절차에서 기억할 것은 두 가지입니다.
첫째, 앞 단계로 자주 돌아갑니다. 그림에는 화살표가 한 방향으로만 그려져 있지만 실제 분석은 그렇게 흘러가지 않습니다. 패턴을 찾다가 이상한 값이 보이면 전처리로 돌아가고, 결과를 평가하다가 질문이 바뀌면 데이터를 다시 고릅니다. 앞에서 본 사고 루프가 바로 이 되돌아감입니다.
둘째, AI가 맡는 곳과 사람이 맡는 곳이 갈립니다. 2~4단계의 계산과 코드는 AI가 대신해 줍니다. 하지만 1단계에서 무엇을 알고 싶은지 정하는 일과 5단계에서 결과가 목표에 맞는지 판단하는 일은 여전히 사람 몫입니다. 사고 루프와 나란히 놓으면 이렇습니다.
| KDD 단계 | 사고 루프 | 주로 맡는 쪽 | 이 과정에서 배우는 곳 |
|---|---|---|---|
| 1. 데이터셋 선택 | 질문 | 사람 | 3장 3절 좋은 질문의 공식 |
| 2. 데이터 전처리 | 데이터 확인 | 사람 + AI | 3장 4절 AI 답 검증, 8장 2절 결측치 |
| 3. 데이터 변환 | 분석 | AI | 4장 1절 매출 분해, 6장 3절 학습·검증 나누기 |
| 4. 데이터 마이닝 | 분석 | AI | 4장~6장 KPI, 수요, 예측 |
| 5. 결과 평가 | 해석 | 사람 | 7장 경영 리포트와 의사결정 |
가장 자주 건너뛰는 단계는 2번 전처리입니다. AI는 빈 칸이나 이상한 값이 있어도 알아서 처리하고 아무 말 없이 결과를 내놓기 때문에, 사람이 먼저 물어야 합니다. 새 데이터를 받으면 분석 전에 아래처럼 한 번 확인하는 습관을 들이세요.
이 데이터에 비어 있는 칸, 같은 내용이 두 번 들어간 행, 0 이하이거나 유난히 큰 값이 있는지
열별로 표로 알려줘. 아직 고치지는 말고 먼저 보여만 줘
orders.csv에 이 프롬프트를 넣으면 대략 이런 결과가 나와야 합니다. 직접 계산해 확인한 값입니다.
| 확인할 것 | orders.csv의 실제 상태 |
|---|---|
| 비어 있는 칸 | 없음 (3,567행 × 8열 모두 채워짐) |
| 0 이하인 값 | 없음 (단가 최소 12,000원, 수량 최소 1개) |
| 유난히 큰 값 | 한 건 최대 40만 원(스마트워치 2개). 수량은 1~5개, 금액은 모두 단가 × 수량과 일치 |
| 주문번호가 같은 행 | 없음 |
| 주문번호만 다르고 나머지가 똑같은 행 | 1쌍 (ORD02853과 ORD02854, 11월 11일 고객 C0476의 머그컵 1개) |
마지막 줄이 사람이 판단할 자리입니다. 같은 고객이 같은 날 머그컵을 두 번 따로 주문했을 수도 있고, 한 주문이 두 번 기록됐을 수도 있습니다. 데이터만으로는 어느 쪽인지 알 수 없으니 AI에게 지우라고 하기 전에 주문 시스템 담당자에게 확인하는 것이 KDD 2단계의 일입니다. 이 교안에서는 두 건 모두 실제 주문으로 보고 그대로 둡니다. AI가 "중복 행 0개"라고 답했다면 주문번호까지 포함해 비교한 것이고, "1개"라고 답했다면 주문번호를 빼고 비교한 것입니다. 어떤 기준으로 셌는지 물어보면 둘 다 맞는 답이라는 것을 알 수 있습니다.
KDD 다섯 단계는 이 과정 전체의 지도이기도 합니다. 4장부터 7장까지 배우는 기법이 어느 단계에 들어가는지 헷갈릴 때 이 표로 돌아오세요. 8장 1절에서는 같은 흐름을 바이브 분석 5단계로 다시 정리합니다.
1.6 힘과 한계
바이브 분석은 강력합니다. 수십 분 걸리던 일이 수십 초로 줄고, 자연어만으로 충분하니 진입 장벽이 낮고, 한 번 만든 분석을 반복하거나 확장하기도 쉽습니다.
하지만 한계도 분명합니다.
- 틀릴 수 있습니다: 사실이 아닌 내용을 그럴듯하게 만들어 내는 환각(hallucination)이 일어나거나, 집계를 잘못할 수 있습니다.
- 맥락을 모릅니다: 우리 회사의 사정, 업계의 상식은 AI가 알지 못합니다. 해석은 사람 몫입니다.
- 그럴듯한 오답이 가장 위험합니다: 눈에 띄게 틀린 답보다, 맞아 보이는데 틀린 답이 훨씬 위험합니다.
가장 큰 함정은 AI를 그냥 믿는 것입니다. 그래서 이 과정은 좋은 질문(3장 3절)과 결과 검증(3장 4절)에 각각 한 절을 통째로 씁니다.
AI를 그냥 믿지 마세요. 빠르고 진입 장벽이 낮지만, AI는 틀릴 수 있고 맥락을 모릅니다. 바이브 분석에서 검증은 선택이 아니라 필수입니다.
1.7 첫 바이브 분석
이제 직접 해봅니다. 도구 설정은 3장 2절에서 자세히 다루므로, 지금은 "바이브 분석이 이런 느낌이구나"를 경험하는 데 집중하세요. Google Colab에서 새 노트북을 열고, 왼쪽 파일 패널에 orders.csv를 올린 뒤 Gemini 채팅을 엽니다. 이 단계가 막히면 3장 2절을 먼저 보고 돌아와도 됩니다.
Gemini에게 차례로 질문합니다.
orders.csv를 불러와서 이 데이터가 어떤 컬럼으로 되어 있는지 알려줘
주문번호, 주문일자, 고객ID, 상품명, 카테고리, 단가, 수량, 금액 여덟 개 열이 나오면 정상입니다.
가장 많이 팔린 상품 top 5를 막대그래프로 보여줘
상위 5개 상품의 막대그래프가 나옵니다.
결과를 받았으면 바로 믿지 말고 세 가지를 의심해 봅니다.
- 그래프에 나온 상품명이 실제 데이터에 있는 상품인가?
- top 5의 수량이 상식적인 범위인가?
- '많이 팔린'을 수량 기준으로 했나, 매출 기준으로 했나?
세 번째 질문이 특히 중요합니다. 이 데이터에서 수량 기준 1위는 머그컵이고, 매출 기준 1위는 스마트워치입니다. 같은 "많이 팔린 상품"이라는 말을 AI가 어느 쪽으로 해석했느냐에 따라 전혀 다른 답이 나옵니다. 직접 검증해 보면 "AI 답을 그냥 믿으면 안 되는 이유"를 몸으로 느끼게 됩니다.

두 기준으로 직접 계산한 상위 5개입니다. 왼쪽은 1년 동안 팔린 개수를 더한 것이고, 오른쪽은 금액을 더한 것입니다. 왼쪽 1위 머그컵은 644개가 팔렸지만 한 개 12,000원이라 매출로는 773만 원에 그치고, 오른쪽 1위 스마트워치는 114개만 팔렸어도 한 개 20만 원이라 매출 2,280만 원입니다. 눈여겨볼 것은 1위만 바뀐 것이 아니라 두 목록에 함께 든 상품이 하나도 없다는 점입니다. 싼 생활용품은 개수로, 비싼 상품은 금액으로 순위에 오르기 때문입니다. Gemini가 그린 그래프가 이 둘 중 어느 쪽과 같은지 맞춰 보면, AI가 '많이 팔린'을 어떻게 해석했는지 코드를 읽지 않고도 알 수 있습니다. 어느 쪽과도 다르다면 그것도 발견입니다. 무엇을 기준으로 계산했는지 물어볼 차례입니다.
1.8 직접 해보기
- 위 실습에서 AI가 '많이 팔린'을 수량과 매출 중 어느 기준으로 해석했는지 확인하고, 반대 기준으로 다시 요청해 결과를 비교해 봅니다.
- 사고 루프의 네 단계 중 AI가 주로 대신해 주는 단계가 무엇인지, 나머지 세 단계에서 사람이 할 일이 무엇인지 자기 말로 정리해 봅니다.
- "바이브 분석을 하면 분석을 아예 몰라도 된다"는 말이 왜 틀렸는지 한 문장으로 설명해 봅니다.
- 위 실습 데이터
orders.csv에 1.5절의 전처리 확인 프롬프트를 그대로 넣어 봅니다. 빈 칸이나 이상한 값이 있다고 나오면 KDD의 어느 단계로 돌아가야 하는지 적어 봅니다.
마지막 수정