AIC-203 사람 기준을 넘은 시험은 6개 중 2개, 나머지 4개는 5점 안쪽 아래

무엇을 보여 주나

시험 6개에서 논문·보고서의 사람 점수와 모델의 최고 점수를 견줬습니다. 모델이 넘은 시험은 GPQA Diamond(2025-03)와 ARC-AGI-2(2026-02) 둘입니다. 나머지 넷은 사람 점수보다 0.3~4.8점 아래입니다.

읽는 법

HellaSwag는 GPT-4가 95.3으로 사람 95.6에 0.3점 못 미친 뒤 2023-03 이후 새 기록이 없습니다. MMLU(88.1, 사람 추정 89.8)와 WinoGrande(89.2, 사람 94.0)도 2024년에 기록이 멈췄습니다. 더 어려운 시험으로 옮겨 가면서 옛 시험을 끝까지 재지 않게 된 것입니다. SimpleBench는 81.9로 사람 83.7 아래에서 아직 평가가 이어집니다.

주의할 점

'사람'은 시험마다 다릅니다. GPQA Diamond의 81.3은 전문가가 맞힌 문제를 추린 집합이라 높게 나온 값이고, 같은 논문의 더 큰 집합에서는 전문가 약 65%입니다. MMLU 89.8은 실측이 아닌 추정이고 일반인 작업자는 34.5%입니다. SimpleBench는 9명 표본입니다. ARC-AGI-2의 66은 일반인의 시도 성공률이며, 모든 과제를 2명 이상이 풀었다는 뜻의 '100%'와 다른 값입니다. 'AI가 사람을 넘었다'는 말은 어느 사람과 견줬는지를 밝혀야 뜻이 있습니다.

출처

각 시험 논문과 공식 보고서(2026-11-07 확인), Epoch AI 벤치마크 허브. 수치만 새로 그렸습니다.

인용할 때

출처: 주식회사 위니브, 『그래프로 보는 AI의 속도』(2026년 11월판), 그림 AIC-203, 원자료: 시험 논문·Epoch AI 벤치마크 허브, 수치만 새로 그림