계산 방법과 변경 이력
자주 나오는 말
- ECI(Epoch Capabilities Index): Epoch AI가 벤치마크 수십 개의 점수를 하나의 눈금으로 이은 능력 지수입니다. Claude 3.5 Sonnet을 130, GPT-5를 150에 맞춰 눈금을 정했고, 최고값에 한계는 없습니다. 방법은 Epoch AI 논문(arXiv:2512.00193)에 있습니다.
- 시험 난이도(EDI): 같은 눈금에 놓은 시험의 어려움입니다. 모델 능력과 시험 난이도가 같으면 그 시험에서 보정 점수를 절반쯤 받는다고 보는 모형입니다.
- 보정 점수: (점수 − 찍어서 맞힐 몫) ÷ (천장 − 찍어서 맞힐 몫). 네 개 중 하나를 고르는 시험이라면 25%는 찍어도 나오므로 빼고, 문제 오류로 아무도 받을 수 없는 몫은 천장으로 삼습니다. Epoch의 계산 방식과 같습니다.
- 최고 기록: 날짜순으로 그날까지 나온 모델 가운데 가장 높은 값입니다. 같은 날 두 모델이 나오면 높은 쪽을 씁니다.
- 공개 가중치 / 닫힌 가중치: 모델 파일을 누구나 내려받을 수 있는지(사용 조건이 붙은 것 포함), API·서비스로만 쓸 수 있는지입니다. Epoch의 분류를 따랐습니다.
위니브가 정한 기준
| 기준 | 값 | 쓰인 그림 | 까닭 |
|---|---|---|---|
| 포화 문턱 | 보정 점수 80% | AIC-005 | 남은 20%에는 문제 오류·채점 차이가 섞여 있어 100%를 기준으로 삼기 어렵다 |
| 추세 계산 시작 | 2023-03-31 | AIC-007, AIC-008 | 자료 첫 달(LLaMA-65B → GPT-4)의 큰 계단이 기울기를 부풀린다 |
| 예측 되짚기 자르는 날 | 2025-06-30 | AIC-007 | 그 뒤 1년 남짓을 맞혀 볼 구간으로 남긴다 |
| 세 가지 속도 | 2023-03~2024-10 / 전체 / 최근 2년 | AIC-008 | 자료에서 실제로 관측된 느린 시기·평균·최근 속도 |
| 회사 선 | 모델 5개 이상인 회사 중 최고 기록 상위 8곳 | AIC-002 | 선이 너무 많으면 읽을 수 없다. 빠진 회사는 그림에 적었다 |
| 나라 선 | 만든 기관의 나라(Epoch 구분) | AIC-105, AIC-302 | 여러 나라 공동 모델은 나라마다 하나씩 셌다 |
| 시험 8개 고르기 | 2019~2025년에 한 해에 하나꼴 | AIC-202 | 나온 시기가 다른 시험을 견주려고 |
| 되짚기 시점 | 2024-03부터 분기 끝마다, 1년 뒤 | AIC-401 | 1년 뒤 실제 값이 있는 시점만 |
| 사건 분류 | 판 교체·통합과 철수를 나눔 | AIC-010, AIC-602 | 대체 제품이 있는 종료를 철수로 세면 철수가 부풀려진다 |
| 시기 나누기 | 2024년 7월, 2025년 1월, 2025년 7월 | AIC-306, AIC-309, AIC-204 | 앞뒤 표본이 비슷해지고 추론 모델이 나온 때에 가깝다. 다른 날로 자르면 값이 달라진다 |
| 남은 시험 | 최근 2년 안에 평가가 있고 새 판으로 대체되지 않은 시험 | AIC-201, AIC-209 | 평가가 끊긴 시험과 옛 판을 '버티는 시험'으로 세지 않으려고 |
| 일의 길이 추세 | 2024년 이후 최고 기록, 16시간 넘는 값 제외 | AIC-403 | METR도 16시간이 넘는 값은 신뢰가 낮다고 본다. 넣어도 값은 같았다. METR 측정 판은 섞여 있다 |
| 회사 자료 | Epoch의 '그래프에서 제외' 표시를 따름 | AIC-704~708 | 범위가 다른 값이 섞이면 선이 끊긴다 |
| 칩 자료 끝 | 끝난 분기(2026-06)까지 | AIC-801, AIC-802 | 2026-09로 표시된 값은 끝나지 않은 분기다 |
| 시설 합계 | 같은 시설의 앞 단계(Superseded by)는 뺌 | AIC-804 | 단계별 값을 더하면 같은 시설이 겹친다 |
| 새 시험 | 옛 시험을 다시 낸 판은 뺌 | AIC-204 | 첫날 점수가 높은 것이 새 시험의 성질이 아니다 |
| 나라 분류 | LMArena 기관 이름을 위니브가 분류 | AIC-610 | 데이터셋에 나라 칸이 없다. 기관 칸이 빈 ByteDance 모델은 이름으로 셌다 |
| 섞은 값 | 입력 3 : 출력 1 | AIC-501 | 입력이 더 많은 쓰임을 가정했다. 비율이 바뀌면 값도 바뀐다 |
| 가격과 점수 잇기 | 가격표 모델 이름을 ECI 판에 사람이 맞춤 | AIC-501 | 짝을 맞출 수 없는 모델은 그리지 않았고, 기한이 있는 할인과 예고 값도 뺐다. 대응표는 코드(charts6.py)에 있다 |
| 사람 점수 고르기 | 모델 점수와 같은 시험 범위의 값만 | AIC-203 | ARC-AGI-1·MATH는 범위가 달라 뺐고, ARC-AGI-2는 시도 성공률 66%를 썼다('100%'는 2명 이상이 푼 과제 비율로 뜻이 다르다) |
검증
- 그림을 그린 코드와 별도로, 다른 검증 담당이 그 코드를 보지 않고 원자료에서 숫자를 다시 계산해 AIC-001~009 카드의 숫자·날짜·이름·순서를 대조했습니다. 이 과정에서 회사 선 고르는 기준, 기록 횟수 세는 법, 표기 자리수 등 8곳을 바로잡았습니다.
- 사건표(AIC-010)는 89건을 회사 공지·공식 문서·논문으로, 10건을 보도로 확인했습니다. 별도 검증에서 철수·보류·제한 사건 27건 전부와 무작위 15건의 출처를 다시 열어 날짜와 내용을 대조했고, 그 결과에 따라 대체 제품이 있는 종료를 '판 교체·통합'으로 나눴습니다.
- 그 뒤 추가한 그림 10장(AIC-101·103·105·202·301·302·401·502·602·603)도 같은 방식으로 원자료에서 다시 계산해 대조했고, 신뢰 구간 비교의 셈법(AIC-301) 등 4곳을 바로잡았습니다.
- 2026-11-07에 추가한 그림 43장도 별도 검증 담당이 코드를 보지 않고 원자료에서 약 540개 값을 다시 계산했습니다. 시설 단계를 겹쳐 더한 값(AIC-804) 등 19곳을 바로잡고 25곳의 기준·표현을 다시 살폈습니다. 사건표·가격표는 무작위 20행의 출처를 다시 열어 19행이 일치했고 1행은 사본이 막혀 값을 확인하지 못했습니다.
변경 이력
| 날짜 | 판 | 바뀐 것 |
|---|---|---|
| 2026-11-06 | 2026년 11월판(견본) | 대표 그림 10장과 카드 글. 원자료 기준일 2026-11-06 |
| 2026-11-06 | 2026년 11월판 | 그림 10장 추가(AIC-101·103·105·202·301·302·401·502·602·603), 카드 말투를 '~습니다'로, 사건표 분류에 판 교체·통합 추가 |
| 2026-11-07 | 2026년 11월판 | 그림 43장 추가(모두 63장). 새 장 '돈과 사람', '칩과 데이터센터', '연표'. 칩·클러스터·회사 자료와 가격표·사람 점수·사건 87건을 더했고 부록을 10장으로 옮김 |
마지막 수정