유료
메모리가 비싼 시대의 AI, 로컬로 돌릴까 클라우드를 쓸까
로컬 LLM을 내 컴퓨터에서 돌리면 돈이 덜 들까요? 이 책은 RTX 5070 12GB 한 장이 꽂힌 위니브 대표의 PC에서 Qwen 4B·9B·27B를 비트별로 줄여 가며 속도와 품질을 직접 재고, 같은 문제를 Claude Haiku·Sonnet·Opus의 추론 강도 다섯 단계로 풀어 토큰당 원가를 나란히 놓았습니다. LM Studio·Ollama·llama.cpp·vLLM 네 도구를 같은 파일로 비교하고, 강의실 100명이 한꺼번에 물을 때 무슨 일이 일어나는지도 쟀습니다. 줄글 대신 그래프 20여 장으로, 내 GPU에 무엇을 몇 비트로 올릴지와 언제 클라우드를 쓸지 판단하는 기준을 보여 줍니다.
목차
1장 위니브의 결론
2장 8월, 27B는 왜 느렸나
- 2.1 LM Studio로 받아 바로 돌려 보기 구매 후 읽기
- 2.2 같은 파일로 그날을 다시 재기 구매 후 읽기
- 2.3 12GB를 넘으면 생기는 일 구매 후 읽기
3장 메모리 계산
- 3.1 파라미터 × 비트 = 파일 크기 구매 후 읽기
- 3.2 대화 기록도 메모리를 먹는다: 문맥 길이와 KV 캐시 구매 후 읽기
- 3.3 내 GPU에 몇 비트로 올릴까 구매 후 읽기
4장 무엇으로 돌릴까, 네 도구
- 4.1 네 도구 한눈에 구매 후 읽기
- 4.2 '그냥 실행하는 게 더 빠르다'는 말의 진실 구매 후 읽기
- 4.3 무엇을 고를까 구매 후 읽기
5장 비트를 줄이면
- 5.1 빨라진다, 그래픽카드에 다 들어가는 한 구매 후 읽기
- 5.2 품질은 2비트 직전까지 버틴다, 차이는 모델 크기 구매 후 읽기
- 5.3 27B: 12GB 안과 밖 구매 후 읽기
- 5.4 생각을 켜면 구매 후 읽기
6장 추론 강도와 원가
- 6.1 low에서 max까지 구매 후 읽기
- 6.2 강도를 올리면 토큰과 기다림이 는다 구매 후 읽기
- 6.3 문항 1,000개 원가 구매 후 읽기
- 6.4 로컬 원가: 전기와 그래픽카드 값 구매 후 읽기
- 6.5 그래서 무엇을 쓸까 구매 후 읽기
7장 강의실 100명
- 7.1 혼자 쓸 때와 여럿이 쓸 때 구매 후 읽기
- 7.2 네 도구의 줄 서기 구매 후 읽기
- 7.3 교육 회사의 결론 구매 후 읽기
8장 오픈 모델은 어디쯤
- 8.1 오픈소스 최고 점수 모델 구매 후 읽기
- 8.2 내 PC에 올라가는가 구매 후 읽기
9장 맺으며
- 9.1 새 모델이 나오면, 한 시간 점검표 구매 후 읽기
- 9.2 대표의 말 구매 후 읽기
10장 부록
- 10.1 A. 실험 환경과 버전 구매 후 읽기
- 10.2 B. 측정 방법과 스크립트 구매 후 읽기
- 10.3 C. 평가 문항 예시와 용어 구매 후 읽기