AIC-204 새 시험의 첫날 최고 점수, 중앙값 33%에서 48%로

2023년 이후 나온 시험 37개에 대해, 시험이 나온 날 이미 공개돼 있던 모델의 최고 보정 점수를 찍었습니다. 2025년 7월 전 시험 17개의 중앙값은 33%, 그 뒤 시험 20개의 중앙값은 48%입니다.

새 시험이 처음부터 절반쯤 풀린 채 나오는 일이 늘었습니다. 가장 높은 DTBench는 나온 날 97%, 가장 낮은 ARC-AGI-2는 3%였습니다. FrontierMath v2처럼 옛 시험을 다시 낸 판은 새 시험이 아니라서 뺐습니다.

뒤늦게 옛 모델을 평가한 값이라 시험을 만든 사람이 그때 본 점수와 다를 수 있습니다. 시험의 목적도 달라서, 일부러 중간 난도로 만든 시험도 있습니다. 출처를 확인하지 못한 Remote Labor Index는 뺐습니다.

Epoch AI 벤치마크 허브. 위니브 계산.

출처: 주식회사 위니브, 『그래프로 보는 AI의 속도』(2026년 11월판), 그림 AIC-204, 원자료: Epoch AI 벤치마크 허브

마지막 수정 2026.11.07