결론부터 말씀드립니다
위니브는 로컬 LLM을 세 번 써 봤고, 이 책을 쓰며 하루 동안 다시 재 봤습니다. 그 결론부터 말씀드립니다.
위니브의 결론은 두 줄입니다.
- 회사 업무 대부분은 클라우드 API가 압도적으로 낫습니다. 속도, 비용, 여러 사람이 함께 쓰는 일, 품질 모두에서 그렇습니다.
- 로컬 LLM은 아주 가벼운 일, 예를 들어 맞춤법을 잡거나 문장을 살짝 다듬는 일에만 쓸 만합니다. 고급 작업에는 맞지 않습니다.
이 그림 한 장이 책 전체의 요약입니다. 가로축은 업무형 문항 1,000개를 처리하는 데 드는 원가(로그 눈금), 세로축은 정답률입니다. 파랑은 Claude API(진할수록 높은 추론 강도), 주황은 제 PC의 RTX 5070 12GB에서 돌린 로컬 모델입니다.
- Claude Haiku 5.5는 가장 낮은 추론 강도(low, 답하기 전에 생각을 가장 적게 하는 단계)에서 정답률 94.9%, 1,000문항에 76원이었습니다(3회 평균).
- 로컬 Qwen3.5 4B 4비트는 1,000문항에 23원으로 더 쌌지만 정답률이 56.5%였습니다.
- 로컬 27B를 4비트급으로 줄여 12GB에 억지로 넣으면 정답률은 82.6%까지 오르지만, 원가가 287원으로 Haiku보다 비싸졌습니다.
4B·27B는 모델 안의 숫자(파라미터)가 40억·270억 개라는 뜻이고, 4비트는 그 숫자 하나를 원래 16비트에서 4비트로 줄여 담았다는 뜻입니다.
로컬이 Haiku보다 싸지는 곳은 정답률이 57~74%인 설정(4B·9B, 27B 2비트)뿐이었습니다. 그것도 그래픽카드 전기만 셈하고, 그래픽카드를 매일 8시간씩 3년 동안 꽉 채워 쓴다고 넉넉하게 잡은 값입니다.
이유 다섯 가지
| 기준 | 클라우드 API | 내 PC 로컬(RTX 5070 12GB) |
|---|---|---|
| 속도 | 문항당 1~7초(업무형) | 4B·9B는 빠르지만, 12GB를 넘는 27B 4비트는 초당 7~10토큰 |
| 비용 | 쓴 만큼. Haiku 5.5 low 1,000문항 76원 | 그래픽카드 약 100만 원 + 전기. 더 좋은 모델을 원하면 수백만~수천만 원 |
| 여러 사람 | 요청 한도(위니브 조직 기준 분당 1.3만 건) 안에서 함께 처리 | 100명이 한꺼번에 물으면 95번째 사람이 첫 글자를 보기까지 1.5~3분(vLLM으로도 17초) |
| 품질 | 업무형 94~99%(3회 평균) | 4B 57%, 9B 74%, 27B 63~83% |
| 보안 | 걱정되는 부분만 가려서(전처리) 보내면 됨 | 밖으로 안 나가지만, 위 네 가지를 다 내줘야 함 |
토큰은 모델이 글을 읽고 쓰는 단위입니다. 요금도 속도도 토큰으로 셉니다. 이 책에서 잰 Qwen은 한국어 답에서 토큰 하나에 한글 1.2~1.5자를 썼습니다.
마지막 수정