점점 길어지는 맡길 수 있는 일

회의 메모를 정리하는 일은 잘 맡겼는데, 여러 자료를 모아 다음 주 발표까지 준비하게 하려니 중간에 손이 자꾸 들어갑니다. AI가 짧은 일을 잘하는 것과 긴 일을 끝내는 것은 다른 문제입니다. 이 절에서는 맡길 수 있는 일의 길이를 어떻게 측정하는지, 그 측정에서 내 업무로 무엇을 가져올지 알아봅니다.

1. 좋은 답변 뒤에도 일이 남습니다

발표 자료를 준비한다고 가정해 보겠습니다. 자료를 찾고, 필요한 수치를 고르고, 설명 순서를 잡고, 문서를 만들고, 빠진 출처를 확인해야 합니다. 각 단계의 답변이 좋아도 앞에서 정한 조건을 뒤에서 잊거나 마지막 확인을 건너뛰면 전체 결과는 쓸 수 없게 됩니다.

긴 업무에는 다음 행동을 고르는 판단이 여러 번 들어갑니다. 찾은 자료가 낡았으면 다시 찾아야 하고, 두 표의 기준이 다르면 같은 그래프에 넣지 않아야 합니다. 중간 결과를 보며 계획을 바꾸고, 바꾼 내용을 다음 단계에 전달해야 합니다. 에이전트에게 필요한 것은 이런 연결을 유지하는 능력입니다.

그래서 AI 성능을 볼 때 정답률과 함께 “얼마나 긴 과제를 끝낼 수 있는가”라는 질문이 등장합니다. 한 번의 답이 맞았다는 평가에서 여러 단계를 완수했다는 평가로 관심을 넓히는 것입니다.

2. 사람의 작업시간으로 길이를 잽니다

AI 평가 기관 METR는 사람이 과제를 끝내는 데 걸리는 시간을 기준으로 과제의 길이를 나타냅니다. 그 가운데 50% 작업 시간 지평은 AI가 절반의 확률로 성공할 것으로 추정되는 과제의 길이입니다. 지평은 여기서 수행 가능한 범위를 가리키는 말입니다.

가령 사람이 오래 걸리는 과제를 AI가 더 자주 끝낼 수 있게 되면 이 지표가 늘어납니다. 기준은 사람의 작업시간입니다. AI가 그 시간 동안 계속 실행됐다는 뜻이 아닙니다. 사람이 오래 할 일을 AI가 더 짧게 끝낼 수도 있고, 반대로 실행에 오랜 시간이 걸릴 수도 있습니다.

METR는 2025년 연구에서 이 길이가 과거 약 7개월마다 두 배로 늘어났다고 보고했습니다. 짧은 문제를 푸는 데서 더 긴 과제를 다루는 쪽으로 변화해 왔다는 관찰입니다.

이 그림을 볼 때는 모델 이름 옆의 숫자만 보지 마세요. 성공 확률, 세로축의 의미, 추정이 흔들리는 범위를 나타내는 신뢰구간을 함께 봐야 합니다. 절반의 성공 확률은 연구에서 비교할 기준이 될 수 있지만, 고객에게 제공할 결과를 절반만 제대로 만들어도 된다는 뜻은 아닙니다.

3. 이 그래프가 말해 주지 않는 것

2026년 10월 25일 확인한 METR 공개 페이지에는 갱신을 더 이상 활발하게 하지 않는다는 안내가 있습니다. 현재 과제 묶음에서는 16시간을 넘는 추정치가 불안정하다는 경고도 표시돼 있습니다. 이를 최신 모델 전체의 현재 순위표로 읽으면 안 됩니다.

평가에 사용된 과제의 성격도 중요합니다. 이 연구는 소프트웨어와 기계학습, 사이버보안처럼 요구 조건과 결과 확인이 비교적 분명한 작업을 중심으로 합니다. 이런 과제에서 관찰된 길이를 곧바로 모든 직무의 하루 업무에 적용할 수는 없습니다.

예를 들어 고객이 말하지 않은 불편을 알아내거나, 서로 다른 부서의 요구를 조율하는 일은 완료 기준부터 합의하기 어려울 수 있습니다. 문서를 작성하는 단계는 맡겨도, 어느 요구를 우선할지 정하는 단계에서 사람의 결정이 필요할 수 있습니다. 업무 이름이 같더라도 재료와 조건이 다르면 맡길 범위도 달라집니다.

그래프에서 가져올 것은 특정 시간까지 무조건 맡길 수 있다는 보장이 아닙니다. 짧은 보조 작업에만 AI를 묶어 두지 말고, 내 업무에서 더 긴 묶음을 시험해 볼 근거입니다. 실제로 어디까지 맡길지는 내 자료와 완료 기준으로 확인해야 합니다.

4. 내 일의 길이를 늘려 보는 방법

첫 단계는 최근 잘 끝난 작은 작업의 앞뒤를 보는 것입니다. 회의 메모 정리를 맡겼다면, 그 앞에는 흩어진 메모를 모으는 일이 있고 뒤에는 결정 사항과 후속 일정을 정리하는 일이 있을 수 있습니다. 서로 연결된 단계가 무엇인지 적으면 맡길 묶음이 보입니다.

다음에는 묶음의 마지막 상태를 정합니다. “회의 내용을 정리한다”보다 “결정 사항과 미결 항목을 나누고, 자료에 없는 담당자는 미정으로 표시한다”는 기준이 확인하기 쉽습니다. 에이전트는 그 기준으로 결과를 검사하고 빠진 것을 보완할 수 있습니다.

중간에 사람이 결정해야 하는 사항도 따로 둡니다. 단순히 형식을 바꾸는 일은 이어서 처리하게 하고, 예산을 늘리거나 외부에 약속하는 일은 정한 범위에 맞춰 보고하게 할 수 있습니다. 작업을 길게 맡기는 것과 결정권을 전부 넘기는 것은 같은 일이 아닙니다.

검토를 별도의 작업으로 붙이는 방법도 있습니다. 작성한 AI와 다른 대화에 원래 요청과 결과를 주고, 기준별로 통과 여부와 근거를 찾아 달라고 할 수 있습니다. 검토자가 찾아낸 빈칸을 다시 작업에 반영하면 사람이 끼어들어야 하는 횟수를 줄일 수 있습니다.

이때 유용한 기록은 “좋았다”보다 구체적입니다. 어떤 재료를 주었고, 어디까지 맡겼고, 어떤 기준을 통과했는지 남겨 보세요. 실패했다면 어느 단계에서 무엇이 부족했는지 적습니다. 자료가 부족해서 실패한 것과 도구가 없어 실행하지 못한 것은 해결 방법이 다르기 때문입니다.

5. 기다리는 시간보다 받아볼 결과

“오래 일해 줘”라는 지시는 긴 업무를 잘 맡기는 방법이 아닙니다. 필요한 일을 빠르게 끝낼 수 있다면 굳이 오래 실행할 이유가 없습니다. 반대로 오래 움직였어도 결과를 확인하지 못했다면 일을 끝냈다고 받아들이기 어렵습니다.

맡길 수 있는 길이가 늘어난다는 변화는 내가 계속 다음 말을 골라 주지 않아도 여러 단계가 이어질 수 있다는 뜻에서 의미가 있습니다. 검색 뒤에 정리, 정리 뒤에 작성, 작성 뒤에 검토를 잇는 과정에서 사람이 해야 했던 전달이 줄어듭니다.

저는 새 모델을 볼 때 같은 일을 다시 맡겨 볼 가치가 있다고 생각합니다. 예전에 중간까지밖에 못 했던 일이라도 재료와 기준을 남겨 두면 다시 시도할 수 있습니다. 한 번의 실패를 AI 전체의 고정된 한계로 정해 두기보다, 내 업무에서 실제로 달라진 범위를 확인하는 것입니다.

6. 이 장을 정리하며

• 에이전트는 목표를 받아 계획하고, 도구를 쓰고, 결과를 확인하며 일을 이어 갑니다.
• 스킬은 업무 수행법을, 도구 연결은 실제 자료와 프로그램을 이용할 통로를 마련합니다.
• 맡길 범위는 작업시간 숫자보다 내 업무의 완료 기준과 결과로 확인합니다.

다음 장에서는 AI가 답을 만드는 원리와 맥락·기억·환각을 이해하고, 사용할 도구를 준비하겠습니다.

참고 자료

• Measuring AI Ability to Complete Long Tasks, METR, 2025-03-19.
• Time Horizons, METR, 최종 갱신 표시 2026-09-08·조회 2026-10-25.