본문 바로가기
스터디 열기

결론부터 말씀드립니다

위니브의 서비스인 위니버시티에 보면 학습 도구에 '배포'가 있습니다. 여기서 AI를 통해 바로 배포까지 할 수 있기 때문에 로컬 LLM과 API 세팅을 약 1년 정도 고민했습니다. 결론부터 말씀드립니다.

위니브의 결론은 두 줄입니다.

  1. 개인 업무나 회사 업무 대부분은 클라우드 API가 압도적으로 낫습니다. 속도, 비용, 여러 사람이 함께 쓰는 일, 품질 모두에서 그렇습니다. 규모의 경제로 상당히 저렴한 API 앞에 로컬 LLM을 쓸 이유는 '보안' 정도밖에는 남지 않았습니다.
  2. 로컬 LLM은 아주 가벼운 일, 예를 들어 문의를 분류하거나 짧은 글을 요약하는 일에만 쓸 만합니다. 고급 작업에는 맞지 않습니다. 위니브는 Opus 5.5 high 이하로 개발하지 않습니다. 상용 API도 이러할진대, 로컬 LLM이 Opus 5.5 high의 성능을 이 속도로 내려면 개인이나 중소기업에서 부담할 수 있는 가격 수준은 아닙니다. 얼마전에 공개된 Kimi K3.1을 돌리려면 RTX 5090이 넉넉하게 80장 정도는 필요합니다. 2026년 11월 기준으로 RTX 5090 그래픽카드 1장 값이 1,000만~1,300만 원이고, 이 카드를 꽂은 PC 한 대는 1,300만 원을 넘습니다(가격 비교 사이트 최저가).

정답률과 원가: 클라우드와 내 PC

이 그림 한 장이 '가정에서 사용하는 그래픽 카드'로 돌릴 수 있는 모델, '수백만 원' 수준의 요약본입니다. 이것보다 높은 수준으로 가져가려면 '천만 원 단위'로 올라갑니다. AI를 돌리기 위해서는 그래픽 카드만 필요한 것이 아닙니다. 파워도 필요하고, 보드도 필요합니다. 그런데 이 그림의 로컬 원가에는 그래픽카드 값과 그래픽카드 전기만 넣었습니다. 나머지 부품과 사람의 시간까지 넣으면 로컬은 더 비싸집니다(6장 '로컬 원가'). 가로축은 업무형 문항 1,000개를 처리하는 데 드는 원가(로그 눈금), 세로축은 정답률입니다. 파랑은 Claude API(진할수록 높은 추론 강도, 동그라미 Haiku·네모 Sonnet·세모 Opus), 주황은 제 업무용 PC의 RTX 5070 12GB에서 돌린 로컬 모델입니다.

이보다 높은 장비를 비교하지 않은 이유는 RTX 5070으로도 이미 결과를 알 수 있기 때문입니다. 원가, 동시 접속자, 뽑아내는 토큰량, 정답률만 보더라도 이미 RTX 5070 수준에서도 충분히 답이 나옵니다. 이 이상 올라가는 것보다는 '구독'이나 '샌드박스 AI'를 선택하시는 것이 현명한 선택일 것입니다. 특히 2026년 11월 기준으로는 더욱 그렇습니다. 그래픽 카드가 어디가 천장인지 모르고 가격이 치솟고 있기 때문입니다.

메모리가 비싼 시대: 1년 안팎에 램 5배, 그래픽카드 2배

이 책의 제목이 '메모리가 비싼 시대'인 이유입니다. DDR5 16GB 램 한 개가 2025년 9월 7만 원에서 2026년 10월 35만 원이 됐습니다. 1년 남짓에 다섯 배입니다. 2025년 10월에는 메모리 칩 현물가가 한 달 만에 두 배로 뛰기도 했습니다. RTX 5090은 2026년 1월 500만 원에서 10월 1,100만 원을 넘겼고, 그래픽카드 회사들은 11월에 또 값을 올린다고 예고했습니다. 로컬 LLM은 결국 메모리를 사는 일입니다. 메모리가 이렇게 비쌀 때 로컬 장비를 사는 것은 가장 비싼 값에 사는 일입니다.

시간은 이 차이를 더 벌립니다. 메모리 값이 오르는 동안 데이터센터의 같은 지능 값은 내려갔습니다. 같은 점수를 내는 API 값이 5.5개월 만에 약 56분의 1이 된 구간도 있습니다. 그래서 로컬 장비에 쓸 돈은 월 API 요금의 15배 안쪽을 첫 기준으로 권합니다. 민간에서 쓸 만한 AI PC의 문턱은 300만 원 미만, 초당 100토큰 이상, Haiku 5.5 이상의 지능이라고 봅니다. 2026년 11월에는 이 셋을 맞춘 장비가 없습니다(10장 '시간이 가면 값은 어떻게 되나').

  • Claude Haiku 5.5는 가장 낮은 추론 강도(low, 답하기 전에 생각을 가장 적게 하는 단계)에서 정답률 94.9%, 1,000문항에 76원이었습니다(3회 평균).
  • 로컬 Qwen3.5 4B 4비트는 1,000문항에 23원으로 더 쌌지만 정답률이 56.5%였습니다.
  • 로컬 27B를 4비트급으로 줄여 12GB에 억지로 넣으면 정답률은 82.6%까지 오르지만, 원가가 287원으로 Haiku보다 비싸졌습니다.

4B·27B는 모델 안의 숫자(파라미터)가 40억·270억 개라는 뜻이고, 4비트는 그 숫자 하나를 원래 16비트에서 4비트로 줄여 담았다는 뜻입니다.

로컬이 Haiku보다 싸지는 곳은 정답률이 57~74%인 설정(4B·9B, 27B 2비트)뿐이었습니다. 그것도 그래픽카드 전기만 셈하고, 그래픽카드를 매일 8시간씩 3년 동안 꽉 채워 쓴다고 넉넉하게 잡은 값입니다.

여기서 하나 더 생각해야 할 점은 로컬 AI가 설사 Sonnet 정도를 RTX 5070에서 구현해내는 놀라운 일이 벌어진다 하더라도, 기업은 사용할 수가 없다는 점입니다. 기업에서 가장 비싼 것 중 하나는 인건비입니다. 로컬 AI를 도입하여 지금 Sonnet 정도의 일을 하는 AI와 함께 일하면서 10시간을 투입해야 할 수 있는 일을 Opus 5.5 High 정도의 지능으로 1시간 일하는 것으로 대체할 수 있다면 Opus 5.5 High 정도의 지능을 사용하는 것이 압도적으로 기업에게는 유리합니다. 제일 비싼 것은 '수정을 하고 있는 나의 인건비'이기 때문입니다.

이유 다섯 가지

기준클라우드 API내 PC 로컬(RTX 5070 12GB)
속도문항당 1~7초(업무형)4B·9B는 빠르지만, 12GB를 넘는 27B 4비트는 초당 7~10토큰
비용쓴 만큼. Haiku 5.5 low 1,000문항 76원그래픽카드 약 100만 원 + 전기. 더 좋은 모델을 원하면 수백만~수천만 원
여러 사람요청 한도(위니브 조직 기준 분당 1.3만 건) 안에서 함께 처리100명이 한꺼번에 물으면 95번째 사람이 첫 글자를 보기까지 1.5~3분
품질업무형 94~99%(3회 평균)4B 57%, 9B 74%, 27B 63~83%
보안걱정되는 부분만 가려서(전처리) 보내면 됨밖으로 안 나가지만, 위 네 가지를 다 내줘야 함

토큰은 모델이 글을 읽고 쓰는 단위입니다. 요금도 속도도 토큰으로 셉니다. 이 책에서 잰 Qwen은 한국어 답에서 토큰 하나에 한글 1.2~1.5자를 썼습니다.

마지막 수정