딥러닝과 트랜스포머 모델, GPT 모델 등의 다양한 인공지능 기술의 발전으로, 생성형 AI는 점점 더 복잡하고 정교한 작업을 수행할 수 있게 되었습니다. 특히 대규모 언어 모델(LLM)은 AI 발전 속에서 중요한 역할을 하며, 자연어 처리와 생성에서 새로운 가능성을 열고 있습니다. 딥러닝이 이미지 인식과 음성 처리에서 혁신을 가져온 것처럼, LLM은 AI가 사람처럼 언어를 이해하고 생성하는 수준으로 발전하게 했습니다.

1. LLM이란?

LLM은 대규모 언어 모델(Large Language Model)입니다. 앞서 살펴본 바와 같이 모델은 본질적으로 복잡한 수학 수식입니다. 그런데 여기서 말하는 '대규모'란 정확히 얼마나 큰 규모일까요?

인간의 뇌는 약 860억 개의 뉴런과 100조 개의 시냅스를 가지고 있습니다. 뉴런은 뇌의 기본 정보 처리 단위이고, 시냅스는 뉴런과 뉴런이 연결되는 접합부입니다. 뇌과학에서 보면 가지돌기(dendrite)와 축삭말단(axon terminal)이 연결되는 것이 바로 시냅스죠. 딥러닝에서는 이러한 생물학적 시냅스를 수학 수식으로 표현하는데, 이것이 바로 '파라미터(parameter)'입니다.

인간의 뇌를 거대한 도시에 비유한다면, 뉴런은 각각의 건물이고 시냅스는 건물들을 연결하는 도로나 통신선에 해당합니다. 도시가 더 많은 건물과 더 복잡한 도로망을 가질수록 더 효율적으로 작동하듯이, AI 모델도 더 많은 파라미터를 가질수록 더 복잡하고 정교한 언어 처리 능력을 발휘할 수 있습니다.

대규모 언어 모델들의 파라미터 수를 인간의 뇌와 비교해보면 그 발전 양상이 더욱 흥미롭습니다.

GPT-1은 마치 작은 마을의 도로망과 같았습니다. 기본적인 연결은 있지만 복잡한 정보 처리에는 한계가 있었죠. GPT-2는 중소도시 수준으로 발전하여 더 정교한 언어 이해가 가능해졌습니다.

그런데 GPT-3에 이르러서는 완전히 다른 차원으로 도약하긴 했습니다. 수치상으로는요. 다만 인간의 시냅스에 비하면 터무니 없이 낮았죠.

GPT-4는 약 1.8조 개의 파라미터를 가지고 있는 것으로 추정됩니다. 이는 인간 뇌의 100조 개 시냅스에는 아직 미치지 못하지만, 그래도 상당히 근접한 수준입니다. 만약 인간의 뇌가 지구 전체의 교통망이라면, GPT-4는 이미 대륙 간 고속도로망을 갖춘 셈입니다.

특히 흥미로운 점은 파라미터 수의 증가가 단순한 양적 변화가 아니라는 것입니다. 마치 마을에서 도시로, 도시에서 국가로 발전할 때마다 완전히 새로운 기능과 능력이 생겨나듯이, GPT 모델들도 파라미터 수가 늘어날 때마다 이전에는 불가능했던 '창발적 능력(emergent abilities)'이 나타났습니다.

GPT-1이 단순한 문장 완성 정도만 가능했다면, GPT-3는 갑자기 시를 쓰고, 코드를 작성하고, 복잡한 추론까지 할 수 있게 되었습니다. 이는 마치 작은 마을이 갑자기 대학과 연구소, 첨단 기업들을 갖춘 세계적인 메트로폴리스로 변한 것과 같은 변화였습니다.

또 하나 주목할 것은 학습의 연산량입니다. 학습 연산량이 10의 22제곱을 지나는 순간 언어모델의 능력이 갑자기 치솟는 기현상이 있는데요. 이것을 ‘느닷없이 나타나는 능력’이라고 부릅니다.

이렇게 파라미터가 계속 늘어나고, 학습의 양 또한 계속 늘어난다면 앞서 나왔던 ‘창발적 능력’과 ‘느닷없이 나타나는 능력’이 또 한 번 일어나지 말라는 법이 없습니다. 그 이후로는 그것보다 못한 모델은 도태되겠지요.

더 놀라운 것은 이러한 발전 속도입니다. GPT-1에서 GPT-4까지 불과 5년 만에 파라미터 수가 15,000배 이상 증가했습니다. 이는 인류 역사상 유례없는 기술 발전 속도입니다. 마치 한 마을이 5년 만에 전 세계를 아우르는 네트워크의 중심지가 된 것과 같은 혁명적 변화라고 할 수 있습니다.

다시 LLM로 범위를 좁혀보겠습니다. LLM은 '대규모 언어 모델'로, 방대한 양의 텍스트 데이터를 학습하여 사람처럼 언어를 이해하고 생성할 수 있는 모델입니다. 기본적으로 확률에 기반하여 문장을 예측하며, '이해'보다는 '수식화된 예측'을 수행한다고 보는 것이 더 정확합니다.

예를 들어, '이호준은'라는 문장을 입력하면 LLM은 확률에 따라 가장 적절한 문장을 선택해 완성합니다.

이 과정은 앞서 설명한 딥러닝과 이어집니다. 마스크 착용 여부를 구분할 때도 확률을 기반으로 작동했죠. LLM은 확률에 기반해 문맥을 고려한 예측을 수행하며, 이를 통해 적합한 문장을 생성합니다. 따라서 LLM이 '사실을 말하는 것'이 아니라, '잘 예측한 것'이라고 보는 것이 적절합니다.

ChatGPT도 마찬가지입니다. 확률에 기반해 예측을 할 뿐이지 ‘진실을 말한다!’라고 착각해서는 안됩니다. 또한 앞선 프롬프트에 영향도 받습니다. 따라서 글의 주도권을 글 작성자가 자기고 있어야 합니다. 잘못된 프롬프트는 잘못된 결과를 초래할 수 있습니다. 이를 방지하려면 기반 데이터를 제공하여 할루시네이션을 줄이는 것이 중요합니다.

• 진실을 말하지 않는 경우를 할루시네이션이라고 하는데 이는 오류가 아닙니다. ‘기능’인거죠. 확률에 기반한 것입니다. 따라서 활용을 지식의 습득의 창구로 사용할 때에는 주의를 요합니다.
• 할루시네이션을 줄이기 위해서는 기반 데이터를 주어야 합니다.

2. ChatGPT의 등장

ChatGPT는 OpenAI에서 개발한 LLM 중 하나로, 사람과 대화할 수 있도록 설계되었습니다. GPT는 모델 이름입니다. 앞서 우리가 Google 티처블머신에서 Train Model이라는 버튼을 클릭했었죠? 바로 그 Model입니다.

ChatGPT는 GPT(Generative Pre-trained Transformer) 아키텍처를 기반으로 하고 있으며, 다음과 같은 특징을 가지고 있습니다.

• 대화 능력: ChatGPT는 사람과 자연스럽게 대화할 수 있습니다. 사용자의 질문에 대해 의미 있는 답변을 제공하고, 다양한 주제에 대해 대화를 이어갈 수 있습니다.
• 지속적인 학습: ChatGPT는 사용자의 피드백을 수집하여 정기적인 업데이트를 통해 성능이 개선됩니다.
• 다양한 활용: ChatGPT는 고객 서비스, 교육, 개인 비서, 콘텐츠 생성 등 다양한 분야에서 활용될 수 있습니다.

ChatGPT 웹 서비스에서는 DALL-E를 사용하여 자연어로 이미지를 생성할 수 있습니다. 또한 맞춤형 GPTs를 탐색하여 질의응답을 할 수도 있습니다.

보통은 GPT와 ChatGPT 웹 서비스를 같은 동의어로 사용하는데 GPT와 ChatGPT 웹 서비스는 동의어가 아닙니다. GPT는 모델 이름이고 ChatGPT는 서비스 이름인 것이죠.

3. GPT 모델의 역사

GPT 모델은 2018년 OpenAI에 의해 처음 발표되었으며, 자연어 처리에 혁신적인 변화를 가져왔습니다. 이 모델은 대량의 텍스트 데이터로 사전 학습되어, 다양한 언어 작업을 수행할 수 있었습니다. 기존의 특정 작업에 특화된 AI 모델들과는 달리, 범용적인 언어 이해와 생성이 가능했습니다.

2019년 발표된 GPT-2는 더 큰 규모와 자연스러운 텍스트 생성 능력을 보여주었으며, 2020년의 GPT-3는 1,750억 개의 매개변수를 통해 더 다양한 작업을 수행할 수 있었습니다.

2022년에는 대화에 특화된 GPT-3.5 기반의 ChatGPT가 출시되었고, 2023년에는 GPT-4 기반의 버전이 등장했습니다. 이로 인해 AI는 코드 작성 및 데이터 분석과 같은 복잡한 작업도 수행할 수 있게 되었습니다.

2024년에는 GPT-4o가 발표되었습니다. GPT는 텍스트뿐만 아니라 이미지, 음성, 비디오와 같은 다양한 데이터를 이해하고 생성할 수 있게 되었습니다. 이러한 발전은 교육, 의료, 예술 등 다양한 산업에서 AI 활용의 새로운 가능성을 열었습니다. 또한 24년 말에는 $200 지불로 강화된 o1 모델을 사용할 수 있게 하였습니다. 이 모델은 수학 난제를 해결하는 등 또 한 번에 도약으로 평가받고 있습니다.

정리하면 아래와 같습니다.

• GPT-1(2018): 최초의 GPT 모델, 범용적 언어 이해와 생성 가능
• GPT-2(2019): 더 큰 규모와 자연스러운 텍스트 생성 능력
• GPT-3(2020): 1,750억 개의 매개변수로 다양한 작업 수행
• ChatGPT(2022): 대화에 특화된 GPT-3.5 기반 서비스
• GPT-4(2023): 코드 작성, 데이터 분석 등 복잡한 작업 수행
• GPT-4o(2024): 텍스트, 이미지, 음성, 비디오 등 멀티모달 지원
• o1, o3 모델(2024~2025): 추론 능력 강화, 수학 난제 해결 수준

4. ChatGPT의 주요 특징

ChatGPT는 다음과 같은 특징을 가지고 있습니다.

1. 맥락 이해: 이전 대화 내용을 기억하고, 일관성 있는 대화를 나눌 수 있습니다.
2. 자연스러운 대화: ChatGPT는 이전 대화 내용을 기억하여 문맥을 고려하게 되었기에, 인간과 유사한 대화 스타일로 소통할 수 있습니다.
3. 다양한 주제 대응: 일상 대화부터 전문적인 주제까지 폭넓은 영역의 대화가 가능합니다.
4. 사용자 지시 이행: 사용자의 요청에 따라 다양하고 복잡한 작업을 수행할 수 있습니다. 텍스트 생성뿐만 아니라 코드 작성, 데이터 분석, 정보 검색 및 정리 등이 가능합니다.

5. ChatGPT의 발전과 영향

ChatGPT는 AI 기술의 대중화에 큰 영향을 미쳤습니다. 누구나 쉽게 접근 가능하고 사용할 수 있어, AI에 대한 대중의 인식과 접근 방식을 변화시켰습니다. 다양한 분야에서 실질적 적용사례가 늘어나고 있습니다.

교육 분야에서는 ChatGPT가 학생들의 학습 보조 도구로 자리잡고 있습니다. 전통적인 교육 방식에서는 인력 또는 비용의 문제로 어려웠던 개인화된 학습 경험이 가능해졌으며, 복잡한 개념을 이해하거나 과제를 해결하는 데에 있어 맞춤화된 도움을 받을 수 있습니다.

• 링크: https://www.donga.com/news/Inter/article/all/20250630/131906363/1

비즈니스 영역, 창작영역, 프로그래밍 영역, 이 외에도 다양한 분야에서 LLM은 실질적 도구로 자리잡았습니다. 위 기사에서 보는 것처럼 너무나 많은 사례가 쏟아져 나와 일일이 언급하기도 힘듭니다.

• YouTube에서는 AI를 사용한 콘텐츠 수익을 금지했습니다.
• 대학 논문에서 LLM을 사용하는 것은 이제 일반적입니다. 얼마 전 KAIST 논문 사건이 이슈화 된 적이 있습니다. 평가하는 곳에서도, 쓰는 곳에서도 모두 LLM을 사용합니다.
• 음원도 마찬가지입니다. 얼마전에는 생성형 AI를 통한 음원으로 각종 차트를 휩쓴 그룹이 이슈화 되기도 했습니다.

인간의 지적 영역을 더욱 고도화 시키는 ‘증폭기’의 역할을 해나갈 것인지, 인간에게 이제 단순 반복적인 업무를 하게 하는 ‘지시자’의 역할을 해나갈 것인지는 두고봐야할 문제입니다.

ChatGPT로 대표되는 대화형 AI의 발전은 우리 사회의 많은 영역에 변화를 가져왔습니다. 이러한 기술의 잠재력을 최대한 활용하면서 인간의 역할을 재정립하고 동시에 발생할 수 있는 문제들을 해결해 나가는 것이 우리 사회의 중요한 과제가 될 것입니다.

6. 다양한 AI 모델의 등장

인공지능 기술의 급속한 발전과 함께, 다양한 분야에서 혁신적인 AI 모델들이 지속적으로 등장하고 있습니다. 이러한 모델들의 진화는 AI의 능력과 적용 범위를 넓혀가고 있습니다.

• 연도별 나타난 LLM들 (출처: 트랜스포머 모델: 소개 및 카탈로그, https://arxiv.org/pdf/2302.07730.pdf)

초기 AI 모델들은 주로 텍스트 처리에 중점을 두었습니다. 자연어 처리에서 시작된 이 모델들은 텍스트 생성, 번역, 요약 등의 작업을 수행할 수 있습니다. GPT (Generative Pre-trained Transformer) 시리즈와 BERT(Bidirectional Encoder Representations from Transformers) 같은 모델들이 이 분야를 선도했습니다. 이는 검색 엔진 개선, 챗봇 개발, 자동 번역 서비스 등 다양한 응용 분야를 열었습니다.

텍스트 처리 기술이 성숙해지면서 AI는 시각적 데이터 처리로 영역을 넓혔습니다. DALL-E와 Stable Diffusion 같은 이미지 인 및과 생성 모델들은 AI가 사진을 분석하고, 텍스트 설명을 바탕으로 이미지를 생성할 수 있도록 하였습니다. 이로 인해 디자인, 예술 창작, 의료 영상 분석 등에서 혁신적인 변화가 생겼습니다.

다음으로 AI는 청각적 데이터 처리에도 도전했습니다. Whisper와 같은 음성 인식과 합성 모델의 발전으로 AI는 인간의 말을 텍스트로 변환하거나, 텍스트를 자연스러운 음성으로 변환하는 능력ㅇ르 갖추게 되었습니다. 이 기술은 음성 비서, 자동 자막 생성, 청각 장애인을 위한 보조 기술 등에 활용되고 있습니다.

최근에는 여러 기술들이 통합되어 멀티모달 AI 모델이 등장하고 있습니다. CLIP (Contrastive Language-Image Pre-training) 같은 모델은 텍스트, 이미지, 음성을 동시에 처리하고 이해할 수 있어, 더욱 복잡하고 종합적인 작업을 수행할 수 있습니다. 예를 들어, 영상 내용을 이해하고 설명하거나, 텍스트 설명을 바탕으로 영상을 생성하는 것도 가능해졌습니다.

더 나아가 AI는 이제 과학 데이터 처리까지 영역을 확장했습니다. AlphaFold와 같은 모델은 복잡한 단백질 구조를 예측하거나 신약 개발을 지원하는 등 과학 연구 분야에서도 AI가 중요한 역할을 하고 있습니다.

다양한 AI 모델의 출현은 AI 기술의 응용 범위를 크게 확장시켰습니다. 주목할 점은 이러한 모델들이 모두 최근 10년 안에 등장했다는 것입니다. AI는 이제 창작, 연구, 의사결정 지원 등 광범위한 영역에서 활용되며, 우리의 일상과 업무 방식을 근본적으로 변화시키고 있습니다.

기존 모델들도 끊임없이 발전하고 있습니다. 아래의 LLM 순위를 보면 Google의 Gemini가 치고 올라온 것을 확인할 수 있습니다. 얼마 전 GPT의 $200 구독 버전 pro는 아직 올라오지 않은 상태입니다. 또한 GPT의 o3 모델을 얼마전 발표 했으니 순위 변동은 클 것으로 보입니다.

• huggingface LLM 순위, Rank(StyleCtrl 순), https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard

7. 벤치마크

요즘 나오는 LLM들은 벤치마크 점수로 평가받고 있습니다. 아래는 대표적인 벤치마크와 평가 내용입니다. 다만, 생성형 AI의 성능 평가는 단일 벤치마크 점수로 환원될 수 없으며, 지식·추론·코딩·대화·안전성뿐 아니라 에이전트 수준의 문제 해결 능력까지 포함하는 다층적 관점에서 이해되어야 합니다.

• 키워드: 유튜브에서 'LLM 벤치마크', 'GPT 벤치마크', '생성형 AI 벤치마크' 등으로 검색하면 다양한 벤치마크 평가 영상을 확인할 수 있습니다.

8. 향후 전망

ChatGPT를 비롯한 LLM은 앞으로도 계속 발전할 것입니다. 이미 ChatGPT Pro 버전은 학사 이상의 수준으로 수학과 코딩을 합니다. 여기에서 멈추지 않고 2026년에는 OpenAI의 o3 같은 새로운 버전 등장이 예고되어 있습니다. 영상을 생성할 수 있는 Sora도 공개되었으니 이제 음성인식, 실시간 대화, 이미지 인식 등 다양한 주제에 대한 대화가 보다 편리하게 사용될 수 있을 것으로 보이고, 다양한 분야에서 더욱 폭넓게 활용될 것입니다.

ChatGPT로 대표되는 대화형 AI의 발전은 우리 사회의 많은 영역에 변화를 가져올 것입니다. 이러한 기술의 잠재력을 최대한 활용하면서 인간의 역할을 재정립하고 동시에 발생할 수 있는 문제들을 해결해 나가는 것이 우리 사회의 중요한 과제가 될 것입니다.