본문 바로가기
  • 교재 소개

  • 2장 AI는 지금 어디까지 왔을까

  • 2.2 더 똑똑하게, 더 싸게

스터디 열기

더 똑똑하게, 더 싸게

가상의 가게에서 홍보 문구를 하나 부탁했는데, AI가 서로 다른 방향의 초안을 여러 개 돌려줬다고 해 보겠습니다. 한 번에 정답을 받는 대신 후보를 만들고 비교하는 일을 반복할 수 있습니다. 이 절에서는 AI의 성능과 함께 이용 비용도 달라지고 있다는 점, 그리고 그 변화가 일을 맡기는 방식에 무엇을 더해 주는지 살펴봅니다.

1. 같은 일을 맡기는 비용

AI의 변화를 말할 때는 가장 어려운 문제를 누가 풀었는지에 관심이 쏠립니다. 그런데 일상에서는 다른 질문이 더 중요할 수 있습니다. "내가 필요한 수준의 답을 얻는 데 얼마나 드는가?"입니다. 처음에는 특별한 일에만 쓰던 도구도 같은 결과를 더 적은 비용으로 얻을 수 있으면 반복 업무에 붙이기 쉬워집니다.

Epoch AI는 2026년 9월 발표한 분석에서 같은 수준의 시험 성능을 얻는 비용이 2023년 이후 분기당 평균 약 47%, 연간 약 13배 낮아졌다고 추정했습니다. 수학·과학·게임 등 다섯 주요 시험에서 성능과 비용을 함께 분석한 결과입니다. 연간 약 13배 낮아졌다는 말은 비용이 약 13분의 1이 됐다는 뜻입니다.

Epoch AI는 같은 시험 성능을 얻는 비용이 2023년 이후 분기당 평균 약 47% 낮아졌다고 추정했습니다.

여기서 비교한 것은 일정 성능을 달성하는 비용입니다. 매년 같은 구독 상품이 같은 비율로 할인됐다는 뜻은 아닙니다. 분석은 더 저렴한 모델로 옮겨 가는 선택까지 반영합니다. 그래서 가격표가 그대로여도 그 가격으로 할 수 있는 일이 늘어날 수 있고, 사용자가 실제로 내는 돈은 사용량에 따라 달라질 수 있습니다.

가게의 일로 돌아가 보겠습니다. 안내문을 처음 만들고, 손님에게 어려운 표현을 찾고, 짧은 버전으로 다시 만드는 과정을 나눌 수 있습니다. 한 번의 생성 비용이 내려가면 이런 시도를 해 볼 여유가 생깁니다. 최종 결과를 고르는 기준이 있으면 반복은 품질을 높이는 데 쓰일 수 있습니다. 기준 없이 후보만 늘리면 고를 일도 함께 늘어납니다.

2. 가격 숫자를 읽는 법

AI 가격 기사에는 토큰이라는 말이 자주 나옵니다. 토큰은 AI가 글을 처리할 때 나누는 작은 조각이며, 서비스가 사용량을 세는 단위로도 쓰입니다. 글자 수와 꼭 같지는 않습니다. 지금은 가격표의 '100만 토큰당'이라는 표현이 처리하는 글의 양에 따른 요금 단위라는 정도로 이해하면 됩니다.

구글 CEO 순다르 피차이는 2025년 2월 파리 AI Action Summit 연설문에서 개발자의 토큰 처리 비용이 18개월 동안 97% 낮아져, 100만 토큰당 4달러에서 13센트가 됐다고 밝혔습니다. 최상위 모델 전체의 이용료나 AI 학습에 드는 비용이 그만큼 줄었다는 설명은 아닙니다.

이 발언과 Epoch AI 분석은 비용 하락을 서로 다른 방식으로 보여 줍니다. 전자는 구글의 개발자 처리 단가에 관한 설명이고, 후자는 여러 시험에서 일정 성능을 얻는 비용에 관한 추정입니다. 둘을 같은 통계처럼 합치기보다 무엇의 가격인지부터 읽으면 됩니다.

우리가 대화창을 쓰며 내는 월 구독료와 회사가 서비스에 AI를 붙이며 내는 사용량 요금도 다릅니다. 월 구독료가 같아도 선택할 모델과 한도는 바뀔 수 있습니다. 반대로 사용량 요금이 싸져도 처리하는 문서가 많아지면 총지출은 커질 수 있습니다. 자신의 일에서는 완료한 결과 하나를 얻는 데 드는 비용과 다시 고치는 시간을 함께 보세요.

3. 공개 가중치 모델이라는 선택지

AI를 제공하는 방식에도 선택지가 생겼습니다. 회사가 운영하는 서비스에 접속해 답을 받는 모델이 있고, 학습을 마친 모델의 가중치를 공개하는 모델도 있습니다. 공개 가중치 모델: 학습으로 정해진 내부의 수치들을 공개해, 허용된 조건에서 다른 곳에서도 실행할 수 있게 한 모델입니다. 오픈 웨이트 모델이라고도 부릅니다.

앞 절에서 본 DeepSeek-R1이 이런 사례입니다. DeepSeek는 공식 저장소에서 모델과 함께 평가 결과를 공개했습니다. 이름이 낯설다고 능력을 낮게 볼 이유는 없습니다. 여러 회사의 모델을 한곳에서 골라 쓰게 해 주는 서비스 OpenRouter가 2026년 9월 22일 공개한 분석에서는, 9월 14일 주간에 이 서비스에서 처리된 토큰의 69%가 중국계 연구소 모델이었습니다. 세계 시장 전체의 점유율이 아니라 한 서비스 안의 이용량입니다.

OpenRouter의 주간 토큰 점유율 그래프에서 중국계 연구소 모델(붉은색)의 비중은 2026년 들어 크게 늘어 9월 14일 주간에 69%였습니다.

가중치가 공개됐다고 데이터와 만드는 과정, 모든 이용 권한까지 똑같이 공개된 것은 아닙니다. 쓸 수 있는 범위는 각 모델의 이용 조건을 확인해야 합니다. 직접 실행하려면 장비와 운영도 필요합니다. '모델을 받을 수 있다'와 '총비용 없이 쓸 수 있다'는 서로 다른 이야기입니다.

코딩을 모르는 독자가 직접 모델을 설치할 필요는 없습니다. 지금 알아둘 것은 선택지가 한 회사의 대화창에만 머물지 않는다는 점입니다. 회사나 기관이 보안·비용·성능을 따져 도구를 정할 때 이런 선택지도 검토할 수 있습니다. 개인은 서비스를 고를 때 자기 업무의 결과로 비교하면 됩니다.

성능이 높은 새 모델과 비용이 낮은 다른 모델이 함께 등장하면, 일의 종류에 따라 도구를 고를 여지가 넓어집니다. 복잡한 자료를 해석하는 작업과 이미 정한 양식에 맞춰 문장을 바꾸는 작업에 늘 같은 도구를 쓸 필요는 없습니다. 다만 '이 나라는 싸고 저 나라는 똑똑하다'처럼 묶어 판단하지 말고, 실제 모델과 조건으로 비교하세요.

4. 저렴해진 뒤에 할 수 있는 일

비용이 내려갈 때 바로 해 볼 만한 일은 검토를 요청하는 것입니다. 예를 들어 가상의 홍보문을 만든 뒤 다른 대화를 열어, 원문에 없는 약속을 넣었는지와 대상 독자가 이해하기 어려운 문장을 찾아 달라고 할 수 있습니다. 검토 결과를 다시 초안 작성에 반영하면 사람이 문장마다 손을 대지 않아도 개선 과정을 만들 수 있습니다.

이때 같은 AI에게 "문제없지?"라고 묻는 것보다 확인할 자료와 기준을 새로 주는 편이 결과를 판단하기 쉽습니다. 작성한 과정의 설명을 길게 넘기는 대신 원문, 초안, 통과 조건을 줍니다. 다른 AI의 지적이라고 자동으로 정답이 되는 것은 아니므로, 지적한 위치와 근거를 함께 받습니다. 사람은 그 근거가 기준에 맞는지 보고 채택합니다.

또 하나는 당장 채택하지 않을 아이디어를 시험하는 일입니다. 손님에게 보낼 안내문과 직원이 볼 운영 메모는 강조점이 다릅니다. 같은 가상 자료를 주고 두 독자에 맞춰 바꾸게 하면 무엇을 다르게 전달해야 하는지 볼 수 있습니다. 생성과 비교를 반복할 여유가 생기는 만큼 목적을 선명하게 정할 필요가 있습니다.

이 절의 숫자는 앞으로도 같은 속도로 가격이 내리리라는 약속이 아닙니다. 계획에 반영할 변화는 이미 관찰됐다는 데 의미가 있습니다. 예전에는 비용 때문에 포기했던 반복 작업이 있다면, 지금 조건에서 다시 계산해 볼 이유가 생긴 것입니다. 다음 절에서는 성능과 비용이 바뀌는 상황에서 일을 어떻게 계획할지 생각해 보겠습니다.

참고 자료