다음 말을 맞히는 기계

메일 끝에 “확인하신 뒤”라고 쓰자 이어질 말이 떠오르고, AI는 그 문장을 자연스럽게 완성합니다. 앞 장에서는 에이전트에게 여러 단계를 맡기는 모습을 봤습니다. 이번에는 그 바탕이 되는 AI가 어떻게 말을 만드는지 이해하고, 어떤 일에는 자료와 도구를 더 줘야 하는지 알아보겠습니다.

1. 완성된 답을 꺼내는 것은 아닙니다

AI가 길고 반듯한 설명을 내놓으면 어디선가 정답 문서를 찾아 복사한 것처럼 느껴질 수 있습니다. 그러나 글을 만드는 언어 모델의 기본 동작은 지금까지 주어진 내용 다음에 어떤 말이 이어질지 예측하는 것입니다. 선택한 조각을 뒤에 붙이고, 늘어난 내용을 바탕으로 다음 조각을 이어 만듭니다.

“확인하신 뒤” 다음에는 여러 말이 올 수 있습니다. 업무 메일이라면 회신을 부탁하는 문장이, 사용 설명서라면 다음 단계로 넘어가라는 문장이 자연스러울 수 있습니다. 앞에 어떤 자료와 지시가 놓여 있느냐에 따라 이어질 답이 달라집니다.

여기서 예측은 단순히 자주 붙는 단어를 하나 고르는 작업보다 넓습니다. 질문의 조건, 앞뒤 문장의 관계, 설명할 대상과 형식도 답에 영향을 줍니다. 여러 조건을 함께 다루고 추론하는 능력이 발달해도, 글을 작은 조각으로 이어 만든다는 토대는 이해해 두면 유용합니다.

이 원리를 알면 왜 맥락에 따라 답이 달라지고, 매끄러운 답에도 오류가 섞일 수 있는지 이해하기 쉽습니다. 실제로 맡길 수 있는 범위는 과제를 주고 결과를 확인하며 알아갈 수 있습니다.

2. AI가 읽는 조각, 토큰

AI가 글을 처리할 때 쓰는 작은 단위를 토큰(Token)이라고 합니다. 우리가 띄어쓰기한 단어와 항상 같지는 않습니다. 단어의 일부나 문장부호 등이 조각이 될 수 있고, 언어나 처리 방식에 따라 나뉘는 모양도 달라집니다.

우리는 문서를 글자 수나 쪽수로 세지만, 모델의 입력과 출력 한도는 토큰으로 안내되는 경우가 많습니다. 따라서 “자료를 얼마나 넣을 수 있나요?”라는 질문에는 모델의 처리 한도와 파일을 읽는 방식을 함께 봐야 합니다. 같은 쪽수라도 글이 빽빽한 문서와 그림 위주의 문서는 내용이 다릅니다.

한글 한 글자가 항상 토큰 하나라고 생각하거나, 영어 단어 수를 그대로 한글 문서에 적용하지 않으면 됩니다. 입문 단계에서 직접 토큰을 세며 대화할 필요는 없습니다. 모델이 글을 사람이 보는 단어보다 작은 처리 단위로 읽고 만든다는 정도를 기억하세요.

3. 학습은 많은 예에서 규칙을 얻는 과정입니다

외국어를 배울 때 예문을 여러 번 읽으면 문장 구조와 표현의 쓰임을 익히게 됩니다. 모델의 학습도 많은 자료에서 반복되는 관계와 패턴을 얻는 과정으로 비유할 수 있습니다. 학습 과정에서 모델 안의 계산 값이 조정되고, 그 결과가 새로운 입력에 이어질 내용을 만드는 데 사용됩니다.

다음 말을 예측하는 훈련은 언어 모델을 만드는 중요한 토대입니다. 여기에 지시를 따르고, 더 나은 답을 고르고, 추론을 수행하도록 만드는 추가 훈련이 더해질 수 있습니다. 모든 모델의 훈련을 하나의 연습으로만 설명할 수는 없지만, 예에서 패턴을 배워 새 입력에 적용한다는 큰 흐름은 같습니다.

학습한 내용은 자료의 원문을 언제나 정확하게 꺼낼 수 있는 도서 목록과는 다릅니다. 어떤 분야를 잘 설명하더라도 문장 하나의 출처를 정확히 기억한다고 보장할 수 없습니다. 익숙한 표현을 자연스럽게 쓰는 능력과 그 표현을 누가 언제 발표했는지 입증하는 능력은 구분해야 합니다.

또 대화에 새 파일을 넣는 것과 모델을 새로 학습시키는 것도 다릅니다. 파일을 넣으면 이번 작업에 쓸 재료가 생깁니다. 그 파일을 읽고 답했다고 해서 다른 모든 사용자의 AI가 같은 자료를 즉시 배우는 것은 아닙니다. 서비스가 대화를 모델 개선에 활용하는지는 별도의 데이터 설정과 약관에 따라 확인할 문제입니다.

이 차이를 알면 “지난번에 알려 줬는데 왜 또 틀리지?”라는 상황도 다르게 볼 수 있습니다. 한 대화에서 제공한 설명이 모든 새 대화의 필수 자료가 되는 것은 아닙니다. 계속 써야 하는 기준은 다음 대화에서도 다시 읽을 수 있는 자료로 남기는 편이 좋습니다.

4. 계산과 최신 정보에는 다른 재료가 필요합니다

그럴듯한 문장을 이어 쓰는 방식만으로 긴 숫자의 계산을 처리하면 중간 자리나 연산을 틀릴 수 있습니다. 숫자가 들어간 문장을 자연스럽게 쓴다고 정확한 계산을 수행했다는 뜻은 아닙니다. 합계가 중요한 업무라면 계산 기능을 이용하고, 어떤 수를 계산했는지 결과와 함께 받는 편이 확인하기 쉽습니다.

예를 들어 가상의 견적서를 정리한다면 품목 설명은 잘 다듬었어도 수량과 단가를 곱한 값이 틀릴 수 있습니다. 이때는 “계산기로 항목별 금액과 총액을 구하고, 사용한 수량과 단가도 표에 남겨 줘”라고 요청할 수 있습니다. 모델이 숫자처럼 보이는 답을 쓰는 것과 계산 도구의 결과를 받아 쓰는 일을 구별하는 것입니다.

최신 정보도 마찬가지입니다. 학습 뒤에 바뀐 행사 일정이나 오늘의 가격은 모델 안의 기존 지식만으로 확인할 수 없습니다. 검색이나 공식 자료 조회가 필요합니다. 검색 도구가 연결되어 실제로 조회했다면 그 결과를 재료로 답할 수 있습니다.

그래서 “AI는 최신 정보를 모른다”는 말도 사용 환경을 함께 봐야 합니다. 모델만 놓고 답하게 했는지, 검색이 가능한 서비스에서 확인하게 했는지에 따라 달라집니다. 도구가 있다는 안내만 보기보다 이번 답을 만들 때 무엇을 실제로 사용했는지 확인하면 됩니다.

5. 모델과 서비스를 나눠 생각하면 쉽습니다

우리가 여는 AI 서비스는 말을 만드는 모델에 검색, 파일 읽기, 계산, 메모리 같은 기능을 더한 작업 공간입니다. 앞 장의 에이전트도 이 모델이 도구를 이용하고 결과를 받아 다음 행동을 고르도록 구성한 시스템으로 볼 수 있습니다.

같은 질문이라도 자료를 주고 검색을 허용한 경우와 아무 재료 없이 답하게 한 경우가 다를 수 있습니다. “어느 AI가 더 똑똑한가”를 볼 때에도 어떤 모델과 어떤 도구, 어떤 자료를 사용했는지 함께 봐야 비교가 됩니다.

직접 써 볼 때는 요청에 필요한 근거가 무엇인지 먼저 생각해 보세요. 내 문서를 요약할 일이면 원문이 필요합니다. 바뀐 제도를 설명할 일이면 현재의 공식 자료가 필요합니다. 숫자를 합칠 일이면 계산 결과가 필요합니다. 필요한 재료와 방법을 주면 AI가 확인할 수 있는 답을 만드는 데 도움이 됩니다.

토큰의 세부 계산이나 모델의 내부 구조를 모두 외울 필요는 없습니다. 말을 이어 만드는 능력과 실제 자료를 조회하는 능력이 다르다는 점부터 기억하면 됩니다. 다음 절에서는 AI가 한 번에 볼 수 있는 맥락과 대화 사이에 이어지는 기억을 구분하겠습니다.

참고 자료

• 생성형 AI 기초, 위니브.