세 번 시도하고 내린 결론

이 결론은 이번 책을 쓰며 하루 재 본 숫자만으로 낸 것이 아닙니다. 저희는 그전에 로컬 LLM을 세 번 써 봤습니다.

첫 번째, 제 PC의 RTX 5070

2026년 8월, 저는 LM Studio를 깔고 일주일쯤 써 봤습니다. 앱 안에서 모델을 검색해 바로 내려받을 수 있어서, 내려받는 데 시간이 꽤 걸린 것만 빼면 시작은 정말 쉬웠습니다. Qwen3.8 27B를 받아 돌려 보니 너무 느렸습니다. 'RTX 5070으로 로컬 LLM을 돌려 의미 있는 일을 하기는 쉽지 않겠구나' 싶었습니다.

다만 품질은 나쁘지 않았습니다. Claude Haiku보다 조금 낮은 정도로 느껴졌습니다. 저희 회사가 Haiku에 맡기는 일은 대부분 맞춤법을 잡거나 가볍게 고치는 일이고, 그런 일이 꽤 많으니 그 정도면 쓸 만하다고 생각했습니다.

그래도 결론은 모든 면에서 클라우드였습니다. Haiku나 Sonnet을 API로 쓰면 되는데, 그보다 좋은 로컬 모델을 제 컴퓨터에서 돌리겠다고 수백만 원, 수천만 원을 쓰는 것은 옳지 않다고 판단했습니다.

이번 책을 쓰며 같은 파일, 같은 앱으로 그날을 다시 재 보니, 그 27B 파일(16.8GB)은 처음부터 제 그래픽카드(12GB)에 다 들어가지 않는 크기였습니다(2장).

두 번째, 위니버시티 바이브 코딩

위니버시티에는 학생이 말로 앱을 만드는 바이브 코딩 도구가 있습니다. 이 도구를 만들 때 회사 서버의 GPU를 묶어 로컬 모델을 붙이는 방안도 따져 봤습니다. 2026년 10월에 내린 결론은 RTX 3090 자체 서버 대신 Claude Haiku 5.5 API였습니다.

• 성능: Haiku 5.5가 3090에 올릴 수 있는 Qwen3.8 27B보다 높았습니다(Artificial Analysis 종합 지수 43 대 34, 2026년 10월 기준).
• 비용: 학생 200명이 한 달에 90번씩 쓴다고 보면 API는 월 약 2.3만 원, 3090 서버는 고정비만 월 약 11.6만 원이었습니다(위니브 내부 추정).

회사 서버의 GPU 몇 장을 붙여 돌려도 들인 만큼 나오지 않는다고 판단했습니다.

세 번째, 기업 교육의 사내망 로컬 LLM

한 기업 교육에서는 보안 정책 때문에 사내망에 구축한 로컬 LLM을 썼습니다. 최고급 그래픽카드 네 장에 당시 약 4천만~5천만 원을 들인 장비였고, 모델은 Gemma 4였습니다. 수강생은 VSCode 확장인 Roo Code로만 이 모델에 접근할 수 있었습니다.

문제는 두 가지였습니다.

• 접근성: 사람들이 평소 쓰는 AI는 웹에 접속해 바로 씁니다. VSCode 확장으로만 들어가는 환경은 그런 화면도, 편의 기능도 없습니다. Claude Desktop 같은 편의 기능까지 만들어 줄 것이 아니라면 쓰기 어렵습니다.
• 성능: 그 장비에 올릴 수 있는 가장 좋은 모델도 지금 쓸 수 있는 Opus 5.5에 한참 못 미쳤습니다. 웹에서 Claude에게 한두 번 물으면 끝날 일을 수백 번 묻고 수백 번 고쳐야 하니, 쓰는 사람의 체감이 좋을 수 없었습니다.

그래서

수천만 원짜리 장비도, 제 PC의 그래픽카드도 같은 자리에서 멈췄습니다. 가벼운 일은 됩니다. 고급 작업과 여러 사람이 함께 쓰는 일은 클라우드입니다. 저희는 교육을 많이 하는 회사라 수강생이 한꺼번에 쓰는 일이 특히 중요한데, 이 부분은 속도와 함께 지금도 앞으로도 로컬로 풀기 쉽지 않다고 봅니다.

보안이 걱정이라면 로컬 LLM을 짓기보다, 걱정되는 파일만 전처리해 민감한 내용을 가린 뒤 API에 넘기는 소프트웨어를 중간에 두는 편이 낫다고 생각합니다.