본문 바로가기
  • 교재 소개

  • 2장 AI는 지금 어디까지 왔을까

  • 2.1 시험지를 다 풀어 버린 AI

스터디 열기

시험지를 다 풀어 버린 AI

앞 장에서 작은 일 하나를 골랐다면, 이제 그중 어디까지 AI에게 맡길 수 있을지 살펴보겠습니다. 예전에 어려운 질문을 했다가 엉뚱한 답을 받은 경험이 있다면 지금도 그 정도일 것이라고 생각하기 쉽습니다. 이 절에서는 바둑과 프로그래밍 대회, 수학·과학 시험의 변화를 따라가며 AI의 능력을 새로 가늠하는 법을 익힙니다.

1. 바둑에서 먼저 겪은 변화

2016년 3월 알파고는 이세돌 9단에게 4승 1패로 이겼습니다. 바둑을 잘 모르는 사람에게도 강하게 남은 사건입니다. 오랫동안 쌓은 직관과 경험이 필요한 분야에서 AI가 정상급 기사와 겨뤄 이긴 것입니다. 이어 2017년 10월 공개된 알파고 제로는 이세돌과 대국했던 이전 알파고에 100승 무패를 기록했습니다.

딥마인드가 공개한 Elo 점수 그래프에서 알파고 제로는 이세돌과 대국한 알파고 리(AlphaGo Lee)와 그 뒤의 알파고 마스터보다 높습니다. Elo는 대국 결과로 실력을 견주는 점수입니다.

여기서 100승의 상대는 이세돌 개인이 아니라 이전 AI입니다. 사람이 AI에 한 번 졌다는 사실만큼 중요한 것은, 그 사람을 이긴 AI도 다시 크게 뒤처졌다는 사실입니다. 오늘의 정상급 성능이 오래 기준으로 남으리라고 생각하기 어려워진 장면입니다.

우리가 업무용 AI를 볼 때도 비슷한 일이 생깁니다. 처음 써 본 모델이 표를 잘못 읽었다는 경험은 그때의 관찰로 남겨야 합니다. 지금 모델도 같은 일을 못한다고 결론 내리려면 다시 시험해 봐야 합니다. 반대로 어느 대회에서 뛰어난 결과를 냈다고 내 회사의 모든 일을 바로 맡길 수 있는 것도 아닙니다. 변화의 속도와 실제 용도를 함께 봐야 합니다.

2. 프로그래밍 대회와 수학·과학 시험

2026년 7월 AtCoder World Tour Finals의 사람과 AI 시범 경기에서는 OpenAI 에이전트가 Heuristic과 Algorithm 두 부문 모두 사람 참가자보다 높은 성적을 냈습니다. 7월 9일 Algorithm 경기에서 AI는 다섯 문제를 모두 풀어 8,300점을, 사람 우승자는 4,300점을 기록했습니다. 정식 인간 대회와 별도로 치른 시범 경기 결과입니다. 복잡한 조건을 읽고 해결 방법을 찾아야 하는 프로그래밍 대회까지 AI의 활동 범위가 넓어졌습니다.

이런 능력을 일정한 문제 묶음으로 재는 시험을 벤치마크라고 부릅니다. 모델이 바뀔 때 같은 시험을 치르게 하면 성능 변화를 볼 수 있습니다. 다만 시험에 붙은 이름보다 어떤 문제를 어떤 조건으로 풀게 했는지가 중요합니다. 과학 지식 시험과 컴퓨터 화면 조작 시험은 서로 다른 능력을 측정합니다.

예를 들어 OpenAI는 2026년 9월 발표에서 GPT-6 Astra의 GPQA Diamond 점수가 96.0%라고 밝혔습니다. GPQA Diamond는 대학원 수준의 과학 질문을 다루는 시험입니다. DeepSeek가 2025년 1월 공개한 R1의 MATH-500 성적은 한 번 답을 생성하는 조건에서 97.3%였습니다. 이 시험은 수학 문제 묶음입니다. 두 점수는 서로 다른 시험 결과이며, GPQA 전체나 MATH 전체의 성적과도 구분해야 합니다.

점수가 꼭대기에 가까워지면 시험은 모델 사이의 차이를 가려내기 어려워집니다. 이 상태를 시험이 포화됐다고 표현합니다. 더 어려운 시험이 필요해진다는 뜻입니다. 사람이 어렵게 느끼던 문제를 AI도 어려워할 것이라는 예상이 바뀌는 것입니다.

스탠퍼드의 「AI Index 2026」은 이미지 분류, 독해, 경시 수학, 대학원 수준 과학 등 여러 시험에서 AI가 사람 기준선에 도달하거나 이를 넘은 흐름을 모았습니다.

여러 시험의 AI 성능을 각 시험의 사람 기준선에 맞춰 환산한 그래프이며, 마지막 측정 연도는 2025년입니다.

그래프의 100은 모든 문제를 맞혔다는 점수가 아닙니다. 시험마다 정한 사람의 성적을 100으로 놓고 비교한 값입니다. 서로 다른 사람 집단과 시험을 한 그림에 모았으므로, 선 하나를 보고 모든 업무에서 사람을 넘었다고 읽을 수는 없습니다. 대신 여러 분야에서 같은 방향의 변화가 일어났다는 것을 볼 수 있습니다.

3. 더 어려운 시험도 움직입니다

이름부터 눈길을 끄는 시험이 있습니다. Humanity’s Last Exam, 우리말로 옮기면 '인류의 마지막 시험'입니다. 여러 분야의 전문가가 만든 어려운 질문을 모았습니다. 2025년 1월 초기 논문에서는 3,000문항을 소개했고, 전체 문항을 평가한 o1의 점수는 9.1%였습니다. 같은 해 4월에는 문항을 다듬어 2,500문항으로 확정했습니다.

그 뒤로 시험도 모델도 계속 바뀌었습니다. 2026년 9월에는 더 정제한 1,000문항 시험 HLE-Diamond가 별도로 공개됐습니다. 10월 25일 확인한 이 시험의 결과표에서 GPT-6 Astra는 도구를 쓰지 않고 높은 추론 설정으로 59.9%를 기록했습니다. 도구 없이 푼다는 것은 검색이나 별도 계산 도구의 도움을 받는 평가와 구분한다는 뜻입니다.

HLE-Diamond의 1,000문항 평가에서 Astra는 도구 없이 높은 추론 설정으로 59.9%를 기록했으며, 초기 HLE와는 문제 묶음이 다릅니다.

초기 HLE의 9.1%와 HLE-Diamond의 59.9%를 한 시험에서 오른 점수처럼 선으로 연결하면 안 됩니다. 문항과 조건이 다릅니다. 여기서 볼 것은 어려운 시험을 새로 만들고, 모델이 그 시험에 도전하고, 다시 시험을 다듬는 과정이 짧은 간격으로 이어진다는 점입니다. 점수 하나를 외우기보다 내가 갖고 있는 AI의 모습이 언제 만들어진 인상인지 돌아볼 필요가 있습니다.

사람에게는 쉽고 AI에게는 어렵도록 만든 시험도 있습니다. ARC Prize가 2026년 3월 25일 공개한 ARC-AGI-3는 설명 없는 게임을 주고, 해 보면서 규칙과 목표를 스스로 알아내게 합니다. 공개 당시 사람은 100%, 최첨단 AI는 0.51%였습니다. 그런데 공식 검증 결과에서 GPT-6 Astra는 Provider Adapter라는 실행 방식과 높은 추론 설정으로 99.9%를 기록했습니다. 기본(Standard) 실행 방식의 최고 결과는 62.7%였습니다. 같은 모델이라도 어떤 방식으로 실행했는지에 따라 점수가 크게 다르다는 점도 함께 기억해 두세요.

ARC Prize가 검증한 GPT-6 Astra의 ARC-AGI-3 결과입니다. 아래 표에서 기본 실행 방식(Standard)과 Provider Adapter 실행 방식의 점수를 나눠 보여 줍니다.

4. 정답이 있던 문제에서 새로운 문제로

시험에는 보통 정답이 준비되어 있습니다. 그렇다면 아직 답을 모르는 문제는 어떨까요? OpenAI는 2026년 8월 1일 내부 Astra 모델이 수학·이론 컴퓨터과학의 오래된 문제 10건에서 해결 또는 큰 진전을 만들었다고 발표했습니다. 각 논증은 Lean 형식 증명으로 옮겼다고 설명했습니다.

형식 증명: 논증을 엄격한 규칙에 맞춰 적어 컴퓨터로 논리적 연결을 확인하는 방식입니다. Lean은 이런 확인에 사용하는 도구입니다. 설명이 그럴듯하다는 것과 논리 규칙을 통과했다는 것은 다릅니다. 연구가 새로운지, 무엇을 바꾸는지는 별도의 학문적 판단을 거칩니다.

AI의 연구 결과를 이 책에서 길게 설명하려는 것은 아닙니다. 전문 지식을 학습한 AI가 이미 있는 답을 재현하는 범위를 넘어, 새 결과를 제안하고 검증 절차에 넘기는 데에도 쓰이고 있다는 점을 알아두면 됩니다. 업무에서도 비슷한 방향을 생각해 볼 수 있습니다. 초안을 만드는 데서 멈추지 않고, 그 초안이 정해 둔 조건을 만족하는지 확인하는 일까지 묶어 맡기는 것입니다.

5. 내 일에서는 무엇을 시험할까

실제 업무에는 끝없는 예외와 불완전한 자료가 있습니다. 큰 점수를 보고 감탄하는 데서 한 걸음 더 가서, 내 일의 작은 시험지를 만들어 보세요.

가상의 행사 안내문이라면 날짜를 바꾸지 않는지, 미정인 장소를 지어내지 않는지, 처음 오는 사람도 준비물을 이해하는지가 시험 항목이 됩니다. 후보 문장을 만드는 AI와 원문을 대조하는 AI를 따로 둘 수도 있습니다. 어떤 조건을 만족하면 쓸 수 있는지 먼저 적어 두면 좋은 결과와 그럴듯한 결과를 구분하기 쉬워집니다.

시험 성적은 다시 써 볼 이유를 줍니다. 실제로 맡길지는 내 자료와 기준으로 확인합니다. 새로운 모델이 나왔을 때도 같은 작은 시험을 다시 주면, 막연히 똑똑해졌다는 느낌 대신 어떤 일을 더 넘길 수 있는지 판단할 수 있습니다.

참고 자료