판단형 AI, 실시간 게임에서는 누가 이길까?
AIB DecisionBench-Game은 판단형(Decision) AI의 정확성·속도·비용을 실시간 게임으로 측정하는 벤치마크입니다. 여러 실무에서 빠르고 정확한 판단을 연이어 내려야 하는 판단형 AI의 쓰임새에 맞춰 설계했습니다.
- 22
- 모델
- 4
- 게임
- 616
- 플레이
- 27,281
- 실시간 판단
설계 의도
판단형 AI는 제시된 보기 중 하나를 확률과 함께 0.2~0.6초 만에 고릅니다. 실무에서는 이런 판단이 쉬지 않고 이어지고, 판단이 끝날 때까지 상황이 기다려 주지 않는 경우가 많습니다. 정답률만으로는 알 수 없는 이런 실전 능력을, 판단이 조금만 늦어도 승패가 갈리는 실시간 게임으로 측정합니다.
측정 방식
한 번에 측정하는 AI 모델들은 같은 시작 조건으로 게임을 동시에 시작하고, 나중에 추가한 모델은 같은 조건으로 별도로 측정합니다. 게임은 실시간으로 진행되며 올바른 판단이라도 타이밍이 늦으면 반영되지 않습니다. 한 번의 운에 좌우되지 않도록 게임마다 시작 조건을 바꿔 여러 번 진행해 평균을 산출합니다(두더지 잡기 10회 · 뱀 게임 5회 · 테트리스 5회 · 핑퐁 8회). 이어서 같은 게임을 이번에는 판단하는 동안 게임 시계를 멈추고 한 번 더 도전해, 점수가 낮은 이유가 판단력 때문인지 속도 때문인지를 구분합니다.
지표
- 실시간 점수 — 게임마다 0~100. 판단 능력과 속도를 함께 반영
- 시간이 충분할 때 점수 — 판단 능력만 확인
- 느려서 잃은 점수 — 실시간 점수와 시간이 충분할 때 점수의 차이
- 응답 시간 · 1천 회 비용 — 판단 한 번에 걸리는 시간과 판단 1천 회에 소요되는 비용
- 측정 게임 — 두더지 잡기 · 뱀 게임 · 테트리스 · 핑퐁 4종, 순차적으로 추가 예정
2026년 10월 12일~24일 측정. 판단형 AI 22종 중 종합 1위는 GPT-6 Luna Decisions(69.5점)입니다.
- 게임 순위는 시간 제한이 없을 때는 텍스트 판단 순위와 거의 같지만, 실시간에서는 크게 달라집니다.
- 두더지 잡기·뱀 게임·테트리스·핑퐁에서는 평소 속도보다 가끔 크게 늦는 응답이 순위를 더 많이 떨어뜨렸습니다.
- 시간 제한이 없어도 점수 차가 큰 테트리스에서는 판단력이, 시간 제한이 없으면 대부분 점수가 높은 두더지 잡기·뱀 게임·핑퐁에서는 응답 속도가 순위를 가릅니다.
종합 순위
- 두더지 잡기
- 93.6
- 뱀 게임
- 71.0
- 테트리스
- 52.1
- 핑퐁
- 61.4
- 응답 중앙값
- 234ms
- 1천 회 비용
- $0.041
- 두더지 잡기
- 82.7
- 뱀 게임
- 50.4
- 테트리스
- 51.1
- 핑퐁
- 48.5
- 응답 중앙값
- 397ms
- 1천 회 비용
- $0.030
- 두더지 잡기
- 86.1
- 뱀 게임
- 49.3
- 테트리스
- 28.8
- 핑퐁
- 61.4
- 응답 중앙값
- 349ms
- 1천 회 비용
- $0.0075
- 두더지 잡기
- 93.2
- 뱀 게임
- 56.8
- 테트리스
- 20.1
- 핑퐁
- 52.1
- 응답 중앙값
- 269ms
- 1천 회 비용
- $0.0032
- 두더지 잡기
- 98.1
- 뱀 게임
- 64.6
- 테트리스
- 12.3
- 핑퐁
- 46.4
- 응답 중앙값
- 184ms
- 1천 회 비용
- $0.053
- 두더지 잡기
- 80.7
- 뱀 게임
- 45.7
- 테트리스
- 40.4
- 핑퐁
- 49.4
- 응답 중앙값
- 395ms
- 1천 회 비용
- $0.028
- 두더지 잡기
- 79.4
- 뱀 게임
- 32.4
- 테트리스
- 42.0
- 핑퐁
- 56.8
- 응답 중앙값
- 391ms
- 1천 회 비용
- $0.0087
- 두더지 잡기
- 73.0
- 뱀 게임
- 50.1
- 테트리스
- 29.1
- 핑퐁
- 49.5
- 응답 중앙값
- 385ms
- 1천 회 비용
- $0.113
- 두더지 잡기
- 60.5
- 뱀 게임
- 34.8
- 테트리스
- 31.5
- 핑퐁
- 43.1
- 응답 중앙값
- 514ms
- 1천 회 비용
- $0.0078
- 두더지 잡기
- 61.1
- 뱀 게임
- 44.6
- 테트리스
- 14.1
- 핑퐁
- 47.9
- 응답 중앙값
- 410ms
- 1천 회 비용
- $0.033
- 두더지 잡기
- 52.7
- 뱀 게임
- 21.5
- 테트리스
- 26.5
- 핑퐁
- 51.5
- 응답 중앙값
- 547ms
- 1천 회 비용
- $0.014
- 두더지 잡기
- 39.9
- 뱀 게임
- 52.3
- 테트리스
- 23.3
- 핑퐁
- 20.3
- 응답 중앙값
- 710ms
- 1천 회 비용
- $0.022
- 두더지 잡기
- 49.1
- 뱀 게임
- 34.1
- 테트리스
- 18.3
- 핑퐁
- 24.1
- 응답 중앙값
- 664ms
- 1천 회 비용
- $0.011
- 두더지 잡기
- 49.5
- 뱀 게임
- 42.9
- 테트리스
- 17.7
- 핑퐁
- 14.6
- 응답 중앙값
- 739ms
- 1천 회 비용
- $0.039
- 두더지 잡기
- 30.5
- 뱀 게임
- 38.6
- 테트리스
- 26.8
- 핑퐁
- 26.6
- 응답 중앙값
- 642ms
- 1천 회 비용
- $0.014
- 두더지 잡기
- 45.5
- 뱀 게임
- 24.7
- 테트리스
- 13.2
- 핑퐁
- 29.6
- 응답 중앙값
- 663ms
- 1천 회 비용
- 일시 무료
- 두더지 잡기
- 40.7
- 뱀 게임
- 28.8
- 테트리스
- 24.5
- 핑퐁
- 10.4
- 응답 중앙값
- 713ms
- 1천 회 비용
- $0.018
- 두더지 잡기
- 36.7
- 뱀 게임
- 23.3
- 테트리스
- 9.3
- 핑퐁
- 21.4
- 응답 중앙값
- 546ms
- 1천 회 비용
- $0.027
- 두더지 잡기
- 30.4
- 뱀 게임
- 24.0
- 테트리스
- 14.4
- 핑퐁
- 21.4
- 응답 중앙값
- 747ms
- 1천 회 비용
- $0.012
- 두더지 잡기
- 33.8
- 뱀 게임
- 18.1
- 테트리스
- 23.2
- 핑퐁
- 8.9
- 응답 중앙값
- 801ms
- 1천 회 비용
- $0.0036
- 두더지 잡기
- 15.1
- 뱀 게임
- 16.2
- 테트리스
- 10.9
- 핑퐁
- 2.1
- 응답 중앙값
- 326ms
- 1천 회 비용
- 일시 무료
- 두더지 잡기
- 10.2
- 뱀 게임
- 8.4
- 테트리스
- —
- 핑퐁
- 0.0
- 응답 중앙값
- 5.8s
- 1천 회 비용
- $0.022
종합 점수는 게임마다 0~100으로 맞춘 실시간 점수의 평균입니다. 동점이면 판단 1회 비용(10% 미만 차이는 동일한 것으로 간주) → 응답 중앙값 순으로 결정합니다.
종합 점수 아래의 회색 숫자는 시간이 충분할 때의 종합 점수입니다. 같은 게임을 게임 시계를 멈추고 다시 진행했을 때 점수의 평균으로, 판단 능력만 반영합니다.
게임별 결과
두더지 잡기
10회 측정 평균3×3 칸에 🐭·🐰·🐹가 0.4~1.9초 동안 나왔다가 들어갑니다. 🐭를 선택하면 +2점, 🐰·🐹를 선택하면 −1점입니다. AI 모델은 매번 선택할 칸 하나 혹은 '선택 안 함'을 고르고, 게임은 25초간 진행됩니다.
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −1.9
- 🐭 적중
- 98%
- 응답 중앙값
- 129ms
- 느린 5%
- 263ms
- 1천 회 비용
- $0.032
- 시간이 충분할 때
- 99.5
- 느려서 잃은 점수
- −5.9
- 🐭 적중
- 94%
- 응답 중앙값
- 226ms
- 느린 5%
- 368ms
- 1천 회 비용
- $0.020
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −6.8
- 🐭 적중
- 93%
- 응답 중앙값
- 260ms
- 느린 5%
- 353ms
- 1천 회 비용
- $0.0018
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −13.9
- 🐭 적중
- 86%
- 응답 중앙값
- 336ms
- 느린 5%
- 438ms
- 1천 회 비용
- $0.0035
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −17.3
- 🐭 적중
- 82%
- 응답 중앙값
- 384ms
- 느린 5%
- 503ms
- 1천 회 비용
- $0.017
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −19.3
- 🐭 적중
- 81%
- 응답 중앙값
- 399ms
- 느린 5%
- 459ms
- 1천 회 비용
- $0.018
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −20.6
- 🐭 적중
- 79%
- 응답 중앙값
- 406ms
- 느린 5%
- 579ms
- 1천 회 비용
- $0.0036
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −27.0
- 🐭 적중
- 72%
- 응답 중앙값
- 400ms
- 느린 5%
- 817ms
- 1천 회 비용
- $0.053
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −38.9
- 🐭 적중
- 61%
- 응답 중앙값
- 475ms
- 느린 5%
- 971ms
- 1천 회 비용
- $0.020
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −39.5
- 🐭 적중
- 60%
- 응답 중앙값
- 499ms
- 느린 5%
- 732ms
- 1천 회 비용
- $0.0028
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −47.3
- 🐭 적중
- 52%
- 응답 중앙값
- 525ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.0058
- 시간이 충분할 때
- 97.1
- 느려서 잃은 점수
- −47.5
- 🐭 적중
- 49%
- 응답 중앙값
- 551ms
- 느린 5%
- 861ms
- 1천 회 비용
- $0.013
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −50.9
- 🐭 적중
- 49%
- 응답 중앙값
- 504ms
- 느린 5%
- 950ms
- 1천 회 비용
- $0.0043
- 시간이 충분할 때
- 66.1
- 느려서 잃은 점수
- −20.6
- 🐭 적중
- 53%
- 응답 중앙값
- 643ms
- 느린 5%
- 823ms
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −59.3
- 🐭 적중
- 40%
- 응답 중앙값
- 547ms
- 느린 5%
- 1.0s
- 1천 회 비용
- $0.0065
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −60.1
- 🐭 적중
- 40%
- 응답 중앙값
- 538ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.011
- 시간이 충분할 때
- 50.4
- 느려서 잃은 점수
- −13.7
- 🐭 적중
- 49%
- 응답 중앙값
- 545ms
- 느린 5%
- 858ms
- 1천 회 비용
- $0.021
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −66.2
- 🐭 적중
- 34%
- 응답 중앙값
- 763ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.0018
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −69.5
- 🐭 적중
- 30%
- 응답 중앙값
- 631ms
- 느린 5%
- 1.6s
- 1천 회 비용
- $0.0050
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −69.6
- 🐭 적중
- 31%
- 응답 중앙값
- 723ms
- 느린 5%
- 1.2s
- 1천 회 비용
- $0.0046
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −84.9
- 🐭 적중
- 15%
- 응답 중앙값
- 302ms
- 느린 5%
- 834ms
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 97.0
- 느려서 잃은 점수
- −86.8
- 🐭 적중
- 9%
- 응답 중앙값
- 1.9s
- 느린 5%
- 7.2s
- 1천 회 비용
- $0.021
점수는 게임마다 만점(두더지 수 × 2) 대비 %로 환산해 평균했습니다.
🐭가 표시된 시간별 적중률
두더지가 빨리 들어갈수록 응답이 느린 AI 모델은 판단하기 전에 놓칩니다. 이 표가 속도의 차이를 가장 직접적으로 보여 줍니다.
영상으로 보기
영상은 같은 날 측정한 게임 한 번을 실제 속도로 보여 줍니다. 위 순위는 10회 평균이라 영상 결과와 다를 수 있습니다.
뱀 게임
5회 측정 평균뱀이 15×15 보드에서 한 칸씩 움직입니다. AI 모델은 매번 왼쪽·직진·오른쪽 중 하나를 고르고, 벽이나 자기 몸에 부딪히면 끝납니다. 🍎를 먹으면 +1점, 🍅·🍓는 −1점입니다. 전체 게임은 최대 60초이고, 뱀은 1초에 한 칸으로 시작해 60초 동안 0.25초에 한 칸까지 빨라집니다.
- 시간이 충분할 때
- 79.0
- 느려서 잃은 점수
- −8.0
- 평균 생존
- 54.5초
- 사과 점수
- 5.0
- 응답 중앙값
- 241ms
- 느린 5%
- 411ms
- 1천 회 비용
- $0.024
- 시간이 충분할 때
- 88.6
- 느려서 잃은 점수
- −24.0
- 평균 생존
- 40.2초
- 사과 점수
- 11.8
- 응답 중앙값
- 170ms
- 느린 5%
- 342ms
- 1천 회 비용
- $0.040
- 시간이 충분할 때
- 97.0
- 느려서 잃은 점수
- −40.2
- 평균 생존
- 35.0초
- 사과 점수
- 11.0
- 응답 중앙값
- 259ms
- 느린 5%
- 325ms
- 1천 회 비용
- $0.0024
- 시간이 충분할 때
- 90.1
- 느려서 잃은 점수
- −37.8
- 평균 생존
- 40.9초
- 사과 점수
- 3.0
- 응답 중앙값
- 714ms
- 느린 5%
- 905ms
- 1천 회 비용
- $0.015
- 시간이 충분할 때
- 83.9
- 느려서 잃은 점수
- −33.5
- 평균 생존
- 34.0초
- 사과 점수
- 7.2
- 응답 중앙값
- 419ms
- 느린 5%
- 565ms
- 1천 회 비용
- $0.021
- 시간이 충분할 때
- 83.0
- 느려서 잃은 점수
- −32.9
- 평균 생존
- 34.2초
- 사과 점수
- 6.8
- 응답 중앙값
- 360ms
- 느린 5%
- 871ms
- 1천 회 비용
- $0.065
- 시간이 충분할 때
- 95.8
- 느려서 잃은 점수
- −46.5
- 평균 생존
- 30.4초
- 사과 점수
- 9.2
- 응답 중앙값
- 336ms
- 느린 5%
- 471ms
- 1천 회 비용
- $0.0048
- 시간이 충분할 때
- 97.0
- 느려서 잃은 점수
- −51.3
- 평균 생존
- 30.7초
- 사과 점수
- 6.6
- 응답 중앙값
- 403ms
- 느린 5%
- 496ms
- 1천 회 비용
- $0.021
- 시간이 충분할 때
- 92.5
- 느려서 잃은 점수
- −47.9
- 평균 생존
- 29.3초
- 사과 점수
- 7.0
- 응답 중앙값
- 371ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.024
- 시간이 충분할 때
- 43.1
- 느려서 잃은 점수
- −0.2
- 평균 생존
- 33.7초
- 사과 점수
- 2.4
- 응답 중앙값
- 574ms
- 느린 5%
- 1.0s
- 1천 회 비용
- $0.015
- 시간이 충분할 때
- 96.4
- 느려서 잃은 점수
- −57.8
- 평균 생존
- 29.5초
- 사과 점수
- 2.8
- 응답 중앙값
- 636ms
- 느린 5%
- 1.6s
- 1천 회 비용
- $0.0069
- 시간이 충분할 때
- 89.6
- 느려서 잃은 점수
- −54.8
- 평균 생존
- 25.2초
- 사과 점수
- 3.6
- 응답 중앙값
- 512ms
- 느린 5%
- 622ms
- 1천 회 비용
- $0.0083
- 시간이 충분할 때
- 95.5
- 느려서 잃은 점수
- −61.4
- 평균 생존
- 24.3초
- 사과 점수
- 3.8
- 응답 중앙값
- 494ms
- 느린 5%
- 1.2s
- 1천 회 비용
- $0.0066
- 시간이 충분할 때
- 93.4
- 느려서 잃은 점수
- −61.0
- 평균 생존
- 22.6초
- 사과 점수
- 4.0
- 응답 중앙값
- 386ms
- 느린 5%
- 757ms
- 1천 회 비용
- $0.0048
- 시간이 충분할 때
- 94.8
- 느려서 잃은 점수
- −65.9
- 평균 생존
- 21.1초
- 사과 점수
- 2.8
- 응답 중앙값
- 547ms
- 느린 5%
- 1.0s
- 1천 회 비용
- $0.0098
- 시간이 충분할 때
- 85.3
- 느려서 잃은 점수
- −60.7
- 평균 생존
- 18.3초
- 사과 점수
- 2.2
- 응답 중앙값
- 653ms
- 느린 5%
- 1.1s
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 78.8
- 느려서 잃은 점수
- −54.8
- 평균 생존
- 18.0초
- 사과 점수
- 2.0
- 응답 중앙값
- 707ms
- 느린 5%
- 1.4s
- 1천 회 비용
- $0.0069
- 시간이 충분할 때
- 30.3
- 느려서 잃은 점수
- −7.0
- 평균 생존
- 17.6초
- 사과 점수
- 1.8
- 응답 중앙값
- 545ms
- 느린 5%
- 710ms
- 1천 회 비용
- $0.024
- 시간이 충분할 때
- 88.5
- 느려서 잃은 점수
- −67.0
- 평균 생존
- 15.6초
- 사과 점수
- 2.2
- 응답 중앙값
- 601ms
- 느린 5%
- 1.6s
- 1천 회 비용
- $0.0087
- 시간이 충분할 때
- 91.2
- 느려서 잃은 점수
- −73.1
- 평균 생존
- 14.5초
- 사과 점수
- 0.8
- 응답 중앙값
- 780ms
- 느린 5%
- 2.5s
- 1천 회 비용
- $0.0025
- 시간이 충분할 때
- 93.7
- 느려서 잃은 점수
- −77.4
- 평균 생존
- 12.6초
- 사과 점수
- 1.0
- 응답 중앙값
- 307ms
- 느린 5%
- 464ms
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 24.9
- 느려서 잃은 점수
- −16.5
- 평균 생존
- 6.9초
- 사과 점수
- 0.2
- 응답 중앙값
- 5.7s
- 느린 5%
- 10.8s
- 1천 회 비용
- $0.0099
점수는 생존 시간 70%, 사과 점수 30%로 계산합니다. 오래 살아남는 것이 목표이고 사과는 보조 점수입니다.
게임이 끝난 이유
- 벽에 부딪힘
- 자기 몸에 부딪힘
- 끝까지 생존
- GPT-6 Luna Decisions
- Clef Omni
- Decider Flash V1.2
- Drex Max
- Jev 1.13
- Clef
- Decider V1.2
- Jev 1.14
- Clef Flash
- Classify-1
- Microsoft-Decision-1
- D1
- Drex v1.5
- Perplexity Decider v1.1 27B
- Drex v2.0
- Decision Model Preview
- Kev 4B
- Solar Decide Flash
- D1 Ultra
- Span-02
- Mercury Decide
- Solar Decide
응답이 늦으면 방향을 바꾸기 전에 벽에 닿습니다. 시간이 충분할 때는 22개 중 15개가 54초 넘게 살아남았습니다.
영상으로 보기
영상은 같은 날 측정한 게임 한 번을 2배속으로 보여 줍니다. 위 순위는 5회 평균이라 영상 결과와 다를 수 있습니다.
테트리스
5회 측정 평균10×20 보드에 블록이 하나씩 떨어집니다. AI 모델은 블록마다 놓을 방향과 위치를 고르고, 모두 메운 줄은 사라집니다. 블록 순서는 동일하고, 블록이 늘어날수록 떨어지는 속도가 빨라집니다(한 칸 0.35초 → 150번째 0.02초).
- 시간이 충분할 때
- 76.0
- 느려서 잃은 점수
- −23.9
- 쌓은 블록
- 78.2개
- 지운 줄
- 21.6
- 피할 수 있던 구멍
- 11%
- 응답 중앙값
- 237ms
- 느린 5%
- 377ms
- 1천 회 비용
- $0.095
- 시간이 충분할 때
- 82.5
- 느려서 잃은 점수
- −31.5
- 쌓은 블록
- 76.6개
- 지운 줄
- 22.8
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 383ms
- 느린 5%
- 462ms
- 1천 회 비용
- $0.056
- 시간이 충분할 때
- 73.9
- 느려서 잃은 점수
- −31.9
- 쌓은 블록
- 63.0개
- 지운 줄
- 16.4
- 피할 수 있던 구멍
- 3%
- 응답 중앙값
- 405ms
- 느린 5%
- 515ms
- 1천 회 비용
- $0.020
- 시간이 충분할 때
- 62.9
- 느려서 잃은 점수
- −22.5
- 쌓은 블록
- 60.6개
- 지운 줄
- 16.8
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 387ms
- 느린 5%
- 469ms
- 1천 회 비용
- $0.056
- 시간이 충분할 때
- 61.3
- 느려서 잃은 점수
- −29.9
- 쌓은 블록
- 47.2개
- 지운 줄
- 10.6
- 피할 수 있던 구멍
- 3%
- 응답 중앙값
- 524ms
- 느린 5%
- 656ms
- 1천 회 비용
- $0.016
- 시간이 충분할 때
- 52.7
- 느려서 잃은 점수
- −23.6
- 쌓은 블록
- 43.6개
- 지운 줄
- 9.0
- 피할 수 있던 구멍
- 10%
- 응답 중앙값
- 407ms
- 느린 5%
- 775ms
- 1천 회 비용
- $0.297
- 시간이 충분할 때
- 50.7
- 느려서 잃은 점수
- −21.9
- 쌓은 블록
- 43.2개
- 지운 줄
- 9.4
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 352ms
- 느린 5%
- 493ms
- 1천 회 비용
- $0.020
- 시간이 충분할 때
- 62.0
- 느려서 잃은 점수
- −35.2
- 쌓은 블록
- 40.2개
- 지운 줄
- 7.8
- 피할 수 있던 구멍
- 9%
- 응답 중앙값
- 636ms
- 느린 5%
- 1.5s
- 1천 회 비용
- $0.037
- 시간이 충분할 때
- 65.2
- 느려서 잃은 점수
- −38.7
- 쌓은 블록
- 39.8개
- 지운 줄
- 7.4
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 535ms
- 느린 5%
- 1.0s
- 1천 회 비용
- $0.034
- 시간이 충분할 때
- 38.9
- 느려서 잃은 점수
- −14.4
- 쌓은 블록
- 36.8개
- 지운 줄
- 7.0
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 821ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.055
- 시간이 충분할 때
- 39.5
- 느려서 잃은 점수
- −16.1
- 쌓은 블록
- 35.0개
- 지운 줄
- 6.6
- 피할 수 있던 구멍
- 3%
- 응답 중앙값
- 723ms
- 느린 5%
- 1.4s
- 1천 회 비용
- $0.059
- 시간이 충분할 때
- 40.5
- 느려서 잃은 점수
- −17.3
- 쌓은 블록
- 34.8개
- 지운 줄
- 5.6
- 피할 수 있던 구멍
- 7%
- 응답 중앙값
- 660ms
- 느린 5%
- 1.2s
- 1천 회 비용
- $0.0088
- 시간이 충분할 때
- 25.2
- 느려서 잃은 점수
- −5.1
- 쌓은 블록
- 30.2개
- 지운 줄
- 1.8
- 피할 수 있던 구멍
- 5%
- 응답 중앙값
- 265ms
- 느린 5%
- 437ms
- 1천 회 비용
- $0.0097
- 시간이 충분할 때
- 32.3
- 느려서 잃은 점수
- −14.0
- 쌓은 블록
- 27.4개
- 지운 줄
- 3.0
- 피할 수 있던 구멍
- 2%
- 응답 중앙값
- 822ms
- 느린 5%
- 1.2s
- 1천 회 비용
- $0.036
- 시간이 충분할 때
- 42.8
- 느려서 잃은 점수
- −25.1
- 쌓은 블록
- 26.6개
- 지운 줄
- 3.0
- 피할 수 있던 구멍
- 4%
- 응답 중앙값
- 798ms
- 느린 5%
- 1.6s
- 1천 회 비용
- $0.142
- 시간이 충분할 때
- 19.7
- 느려서 잃은 점수
- −5.3
- 쌓은 블록
- 21.6개
- 지운 줄
- 0.2
- 피할 수 있던 구멍
- 14%
- 응답 중앙값
- 845ms
- 느린 5%
- 1.3s
- 1천 회 비용
- $0.038
- 시간이 충분할 때
- 17.2
- 느려서 잃은 점수
- −3.1
- 쌓은 블록
- 21.2개
- 지운 줄
- 0.8
- 피할 수 있던 구멍
- 52%
- 응답 중앙값
- 499ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.110
- 시간이 충분할 때
- 14.8
- 느려서 잃은 점수
- −1.6
- 쌓은 블록
- 19.8개
- 지운 줄
- 0.2
- 피할 수 있던 구멍
- 38%
- 응답 중앙값
- 690ms
- 느린 5%
- 1.1s
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 13.6
- 느려서 잃은 점수
- −1.3
- 쌓은 블록
- 18.4개
- 지운 줄
- 0.2
- 피할 수 있던 구멍
- 47%
- 응답 중앙값
- 250ms
- 느린 5%
- 510ms
- 1천 회 비용
- $0.185
- 시간이 충분할 때
- 37.3
- 느려서 잃은 점수
- −26.4
- 쌓은 블록
- 16.4개
- 지운 줄
- 0.4
- 피할 수 있던 구멍
- 3%
- 응답 중앙값
- 380ms
- 느린 5%
- 653ms
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 9.6
- 느려서 잃은 점수
- −0.3
- 쌓은 블록
- 14.0개
- 지운 줄
- 0.0
- 피할 수 있던 구멍
- 7%
- 응답 중앙값
- 557ms
- 느린 5%
- 998ms
- 1천 회 비용
- $0.026
* Solar Decide: 한 질문에 받을 수 있는 보기 수 상한과 응답 시간 초과로 질문의 절반 넘게 답하지 못해 측정하지 못했습니다.
측정하지 못한 AI 모델의 종합 점수는 측정한 게임만으로 산출했습니다.
점수는 쌓은 블록 수로 계산합니다. 줄 지우기는 오래 버티기 위한 수단이라 점수에 별도로 반영하지 않습니다(쌓은 블록과 거의 비례). 떨어지는 속도는 블록의 개수와 비례하므로 전체 시간이 아니라 떨어진 블록 수가 이 게임의 측정 지표입니다.
쌓은 블록 개수
- 실시간
- 시간이 충분할 때
- GPT-6 Luna Decisions
- Jev 1.13
- Perplexity Decider v1.1 27B
- Jev 1.14
- D1
- Clef
- Decider V1.2
- Microsoft-Decision-1
- D1 Ultra
- Drex v2.0
- Drex Max
- Span-02
- Decider Flash V1.2
- Drex v1.5
- Classify-1
- Kev 4B
- Clef Flash
- Decision Model Preview
- Clef Omni
- Mercury Decide
- Solar Decide Flash
시간이 충분해도 그래프가 짧으면 판단에서, 실시간에서만 그래프가 짧으면 속도에서 뒤처진 것입니다.
영상으로 보기
영상은 같은 날 측정한 게임 한 번을 2배속으로 보여 줍니다. 위 순위는 5회 평균이라 영상 결과와 다를 수 있습니다.
핑퐁
8회 측정 평균AI 모델이 아래쪽 패들을 맡아 위쪽 기준 봇과 5점 선승으로 겨룹니다. 공이 날아오면 받아칠 각도를 5개 중에서 고르고, 답이 와야 패들이 움직입니다. 보기마다 공이 상대 쪽 어디에 떨어지는지, 공이 닿는 시간과 상대 패들이 그 자리까지 가는 시간을 함께 알려 줍니다. 공은 주고받을수록 빨라집니다.
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −38.6
- 봇 단계별
- 10‑0 · 10‑1 · 7‑8 · 1‑10
- 최선 각도
- 68%
- 응답 중앙값
- 370ms
- 느린 5%
- 714ms
- 1천 회 비용
- $0.0092
- 시간이 충분할 때
- 94.3
- 느려서 잃은 점수
- −33.0
- 봇 단계별
- 10‑1 · 10‑0 · 6‑8 · 2‑10
- 최선 각도
- 58%
- 응답 중앙값
- 230ms
- 느린 5%
- 493ms
- 1천 회 비용
- $0.044
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −43.2
- 봇 단계별
- 10‑0 · 10‑1 · 5‑7 · 0‑10
- 최선 각도
- 69%
- 응답 중앙값
- 367ms
- 느린 5%
- 623ms
- 1천 회 비용
- $0.0092
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −47.9
- 봇 단계별
- 10‑0 · 10‑1 · 1‑10 · 1‑10
- 최선 각도
- 63%
- 응답 중앙값
- 290ms
- 느린 5%
- 557ms
- 1천 회 비용
- $0.0046
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −48.5
- 봇 단계별
- 10‑1 · 10‑1 · 3‑10 · 0‑10
- 최선 각도
- 66%
- 응답 중앙값
- 526ms
- 느린 5%
- 652ms
- 1천 회 비용
- $0.016
- 시간이 충분할 때
- 97.9
- 느려서 잃은 점수
- −48.4
- 봇 단계별
- 10‑3 · 10‑4 · 7‑10 · 1‑10
- 최선 각도
- 67%
- 응답 중앙값
- 372ms
- 느린 5%
- 874ms
- 1천 회 비용
- $0.125
- 시간이 충분할 때
- 97.9
- 느려서 잃은 점수
- −48.5
- 봇 단계별
- 10‑0 · 10‑2 · 2‑10 · 0‑10
- 최선 각도
- 45%
- 응답 중앙값
- 392ms
- 느린 5%
- 497ms
- 1천 회 비용
- $0.030
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −51.5
- 봇 단계별
- 10‑1 · 10‑2 · 2‑10 · 0‑10
- 최선 각도
- 56%
- 응답 중앙값
- 400ms
- 느린 5%
- 541ms
- 1천 회 비용
- $0.030
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −52.1
- 봇 단계별
- 10‑2 · 10‑0 · 1‑10 · 0‑10
- 최선 각도
- 60%
- 응답 중앙값
- 293ms
- 느린 5%
- 895ms
- 1천 회 비용
- $0.047
- 시간이 충분할 때
- 84.5
- 느려서 잃은 점수
- −38.1
- 봇 단계별
- 10‑0 · 10‑3 · 1‑10 · 0‑10
- 최선 각도
- 32%
- 응답 중앙값
- 186ms
- 느린 5%
- 575ms
- 1천 회 비용
- $0.078
- 시간이 충분할 때
- 97.9
- 느려서 잃은 점수
- −54.9
- 봇 단계별
- 10‑1 · 9‑7 · 3‑10 · 0‑10
- 최선 각도
- 46%
- 응답 중앙값
- 521ms
- 느린 5%
- 725ms
- 1천 회 비용
- $0.0077
- 시간이 충분할 때
- 84.5
- 느려서 잃은 점수
- −54.9
- 봇 단계별
- 10‑4 · 7‑8 · 0‑10 · 0‑10
- 최선 각도
- 31%
- 응답 중앙값
- 667ms
- 느린 5%
- 1.2s
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 91.7
- 느려서 잃은 점수
- −65.1
- 봇 단계별
- 10‑4 · 4‑10 · 0‑10 · 0‑10
- 최선 각도
- 36%
- 응답 중앙값
- 664ms
- 느린 5%
- 1.5s
- 1천 회 비용
- $0.016
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −75.9
- 봇 단계별
- 10‑5 · 4‑10 · 0‑10 · 0‑10
- 최선 각도
- 77%
- 응답 중앙값
- 835ms
- 느린 5%
- 1.1s
- 1천 회 비용
- $0.015
- 시간이 충분할 때
- 100.0
- 느려서 잃은 점수
- −78.6
- 봇 단계별
- 10‑4 · 2‑10 · 0‑10 · 0‑10
- 최선 각도
- 8%
- 응답 중앙값
- 713ms
- 느린 5%
- 1.3s
- 1천 회 비용
- $0.016
- 시간이 충분할 때
- 89.3
- 느려서 잃은 점수
- −67.9
- 봇 단계별
- 10‑3 · 1‑10 · 0‑10 · 0‑10
- 최선 각도
- 27%
- 응답 중앙값
- 537ms
- 느린 5%
- 811ms
- 1천 회 비용
- $0.035
- 시간이 충분할 때
- 95.8
- 느려서 잃은 점수
- −75.5
- 봇 단계별
- 10‑5 · 2‑10 · 0‑10 · 0‑10
- 최선 각도
- 74%
- 응답 중앙값
- 865ms
- 느린 5%
- 1.3s
- 1천 회 비용
- $0.028
- 시간이 충분할 때
- 94.6
- 느려서 잃은 점수
- −80.1
- 봇 단계별
- 8‑8 · 1‑10 · 0‑10 · 0‑10
- 최선 각도
- 38%
- 응답 중앙값
- 1.0s
- 느린 5%
- 2.6s
- 1천 회 비용
- $0.032
- 시간이 충분할 때
- 51.9
- 느려서 잃은 점수
- −41.4
- 봇 단계별
- 5‑6 · 0‑10 · 0‑10 · 0‑10
- 최선 각도
- 28%
- 응답 중앙값
- 938ms
- 느린 5%
- 1.6s
- 1천 회 비용
- $0.022
- 시간이 충분할 때
- 97.9
- 느려서 잃은 점수
- −89.0
- 봇 단계별
- 5‑7 · 0‑10 · 0‑10 · 0‑10
- 최선 각도
- 54%
- 응답 중앙값
- 1.0s
- 느린 5%
- 2.9s
- 1천 회 비용
- $0.0046
- 시간이 충분할 때
- 97.9
- 느려서 잃은 점수
- −95.8
- 봇 단계별
- 1‑10 · 0‑10 · 0‑10 · 0‑10
- 최선 각도
- 59%
- 응답 중앙값
- 313ms
- 느린 5%
- 798ms
- 1천 회 비용
- 일시 무료
- 시간이 충분할 때
- 44.8
- 느려서 잃은 점수
- −44.8
- 봇 단계별
- 0‑10 · 0‑10 · 0‑10 · 0‑10
- 최선 각도
- 48%
- 응답 중앙값
- 9.9s
- 느린 5%
- 10.7s
- 1천 회 비용
- $0.030
점수는 득점 비율입니다. 기준 봇은 공이 떨어질 자리를 정확히 알지만 반응이 늦고(1단계 1초 · 2단계 0.6초 · 3단계 0.35초 · 4단계 0.2초), 3·4단계는 AI 모델 패들에서 가장 먼 쪽으로 받아칩니다. 아무도 공을 놓치지 않아 시간 상한에 걸린 경기는 무승부(50%)로 계산합니다.
득점 비율
- 실시간
- 시간이 충분할 때
- Decider V1.2
- GPT-6 Luna Decisions
- Perplexity Decider v1.1 27B
- Decider Flash V1.2
- D1 Ultra
- Clef
- Jev 1.14
- Jev 1.13
- Clef Flash
- Clef Omni
- D1
- Decision Model Preview
- Microsoft-Decision-1
- Drex v1.5
- Kev 4B
- Solar Decide Flash
- Drex Max
- Classify-1
- Drex v2.0
- Span-02
- Mercury Decide
- Solar Decide
시간이 충분해도 그래프가 짧으면 판단에서, 실시간에서만 그래프가 짧으면 속도에서 뒤처진 것입니다.
영상으로 보기
영상은 같은 날 측정한 경기 하나를 4배속으로 보여 줍니다. 위 순위는 8경기 평균이라 영상 결과와 다를 수 있습니다.
인사이트
게임은 단순히 텍스트가 아니라 실시간으로 상황을 파악해서 빠른 시간 안에 반복적으로 판단하는 능력이 중요합니다. 같은 AI 모델을 텍스트 판단(DecisionBench-KJ)·시간 제한 없는 게임·실시간 게임, 세 조건에서 측정한 결과는 과연 어땠을까요?
- 01
판단력은 이어지지만, 실시간이 순위를 다시 섞는다
두 벤치마크에 모두 있는 22개 모델의 게임 순위는, 시간 제한이 없을 때는 텍스트 판단 순위(KJ)와 거의 같았지만 실시간에서는 크게 달라졌습니다. 같은 판단력이라도 제때 답하지 못하면 점수로 이어지지 않습니다.
텍스트 판단(KJ) 순위와의 일치도시간 제한 없음0.73실시간0.361에 가까울수록 같은 순서, 0이면 관계없음
텍스트보다 크게 내려간 모델
- Mercury DecideKJ 7위 → GAME 21위
- Solar DecideKJ 11위 → GAME 22위
텍스트보다 크게 올라간 모델
- Clef OmniKJ 16위 → GAME 5위
- Decider Flash V1.2KJ 13위 → GAME 4위
- 02
가장 정확한 모델과 실시간 1위는 다르다
2개 게임에서 시간 제한이 없을 때 1위와 실시간 1위가 다릅니다.
- 뱀 게임
- 시간 제한 없을 때 1위 Decider Flash V1.2 외 1개 공동97.0실시간 1위 GPT-6 Luna Decisions71.0
- 테트리스
- 시간 제한 없을 때 1위 Jev 1.1382.5실시간 1위 GPT-6 Luna Decisions52.1
- 03
평소 속도보다 가끔 생기는 지연이 순위를 떨어뜨린다
두더지 잡기·뱀 게임·테트리스·핑퐁에서는 평소 응답 속도보다 가끔 크게 늦는 응답(가장 느린 5%)이 순위와 더 강한 관련이 있었습니다. 대부분 빨라도 한 번 늦으면 그 순간 기회가 지나가기 때문입니다. 실시간 서비스라면 평균 속도보다 가장 늦는 응답을 확인해야 합니다.
게임 순위와의 관련도
두더지 잡기평소 응답 속도(중앙값)0.79가장 느린 5% 응답0.85뱀 게임평소 응답 속도(중앙값)0.59가장 느린 5% 응답0.63테트리스평소 응답 속도(중앙값)0.30가장 느린 5% 응답0.39핑퐁평소 응답 속도(중앙값)0.72가장 느린 5% 응답0.79모든 게임을 합쳐 보면 응답이 빠를수록 종합 점수가 높았습니다.
- 04
게임마다 순위를 가르는 것이 다르다
모든 게임에 판단과 속도가 다 필요하지만, 모델 사이의 순위 차이를 만드는 쪽은 게임마다 다릅니다. 시간 제한이 없어도 점수 차가 큰 게임은 판단력 차이가 실시간 순위까지 이어지고, 시간 제한이 없으면 대부분 점수가 높은 게임은 판단력으로는 차이가 나지 않아 응답 속도가 순위를 가릅니다.
시간 제한 없을 때 순위와 실시간 순위의 일치도
두더지 잡기 · 속도가 가름0.21시간 제한 없을 때 중앙값 100.0점 · 90점 이상 20/22개뱀 게임 · 속도가 가름0.19시간 제한 없을 때 중앙값 89.8점 · 90점 이상 11/22개테트리스 · 판단력이 가름0.92시간 제한 없을 때 중앙값 40.5점 · 90점 이상 0/21개핑퐁 · 속도가 가름0.50시간 제한 없을 때 중앙값 97.9점 · 90점 이상 17/22개 - 05
시간 제한이 없으면 대부분 잘한다
22개 모델의 점수 중앙값은 시간 제한이 없을 때 82.1점, 실시간에서 36.0점입니다.
시간 제한 없음(중앙값)82.1실시간(중앙값)36.0두더지 잡기는 시간 제한이 없으면 22개 중 20개가 95점 이상이라 거의 차이가 나지 않습니다.
- 06
비싸다고 잘하는 것은 아니다
판단 1천 회 비용은 전체 평균 $0.024입니다. 가장 비싼 Clef($0.113, 8위)보다 순위가 높은 Decider Flash V1.2($0.0032, 4위)의 비용은 35분의 1입니다.
판단 1천 회 비용Clef · 8위$0.113Decider Flash V1.2 · 4위$0.0032비용이 높다고 실시간 점수가 높아지는 경향은 약합니다.
응답 속도와 종합 점수
오른쪽 위에 있을수록 빠르고 점수가 높습니다. 가로축은 게임별 응답 중앙값의 평균(로그 눈금)입니다.
측정 방법
게임 한 번이 진행되는 과정
- 1
같은 조건
두더지가 뜨는 시각·칸, 처음 과일 자리, 테트리스 블록 순서를 시작값으로 미리 정합니다. 모든 AI 모델이 같은 시작값으로 출발하고, 뱀 게임의 다음 과일 자리만 뱀의 움직임에 따라 달라집니다.
- 2
기다려 주지 않는 시계
질문은 한 번에 하나만 보내고, 답은 도착한 순간의 게임 상황에 적용됩니다. 그사이 두더지는 들어가고, 뱀은 몇 칸 더 움직이고, 테트리스 블록은 더 떨어집니다. 답이 늦을수록 그만큼 점수에서 불리해집니다.
- 3
시간이 충분할 때
같은 게임을 이번에는 AI 모델이 판단하는 동안 게임 시계를 멈추고 다시 진행합니다. 속도와 관계없이 판단만 반영한 점수가 산출되며, 실시간 점수와의 차이가 느려서 잃은 점수입니다.
- 4
평균과 구간
게임마다 점수를 0~100으로 맞추고 여러 번 측정한 평균과 95% 구간을 산출합니다. 종합 점수는 게임 점수들의 평균입니다. 이번 측정은 AI 모델마다 모두 28회 플레이했습니다.
자세한 내용
AI 모델에게 보내는 질문 — 두더지 잡기게임 상태와 질문 원문 (영어)
선택할 수 있는 칸만 이모지로 보내고, 보기 순서는 매번 섞습니다. 그림이 아니라 글자로 보내므로 동물 구별은 쉽고, 이 게임은 주로 응답 속도를 측정합니다.
AI 모델에게 보내는 질문 — 뱀 게임게임 상태와 질문 원문 (영어)
뱀 머리 기준으로 왼쪽·앞·오른쪽 칸에 무엇이 있는지, 막히기 전까지 빈 칸 수, 가장 가까운 🍎의 방향을 보냅니다. 보기 순서는 매번 섞습니다.
AI 모델에게 보내는 질문 — 테트리스게임 상태와 질문 원문 (영어)
지금 블록이 갈 수 있는 자리만 보기로 보내고, 보기마다 놓았을 때 바로 생기는 결과(지워지는 줄·새 구멍·쌓인 높이)를 함께 적습니다. 다음 블록이 무엇인지는 알려 주지만, 다음 블록까지 놓아 본 계산은 포함하지 않습니다. 보기 순서는 매번 섞습니다.
AI 모델에게 보내는 질문 — 핑퐁게임 상태와 질문 원문 (영어)
공이 내 쪽 어디에 오는지는 알려 주고, 받아칠 각도 5개를 보기로 보냅니다. 보기마다 상대 쪽에 떨어지는 자리, 상대 패들과의 거리, 공이 닿는 시간과 상대 패들이 가는 시간을 함께 적습니다. 곧게 친 공이 가장 빠르고 각이 클수록 느립니다. 상대의 반응 지연은 알려 주지 않습니다.
모델과 응답 버전측정 때 공급사가 반환한 모델 이름
알아둘 점측정 조건
- 응답 시간은 서울에서 공급사까지 왕복하는 시간을 포함합니다. 사용자가 실제로 겪는 시간과 같은 기준입니다.
- 분당 호출 횟수에 제한이 있는 AI 모델은 그 제한 간격 안에서만 질문했습니다.
- 한 번의 판단은 12초까지 기다리고, 넘으면 오류로 기록합니다.
- 뱀 게임은 판단형 AI에 맞춰 사이트 게임보다 느리게 움직입니다(1초에 한 칸 → 0.25초에 한 칸). 사람 속도에서는 모든 AI 모델이 몇 초 안에 부딪혔습니다.
- 테트리스의 떨어지는 속도는 시간이 아니라 블록 번호로 정합니다. 빠른 AI 모델이 블록을 더 많이 받지 않고, 같은 블록은 누구에게나 같은 속도입니다.
- 핑퐁은 모든 AI 모델이 같은 기준 봇 4단계와 겨룹니다. AI 모델끼리 겨루지 않으므로 모델이 늘어도 모델마다 경기 수가 같고, 기존 점수가 바뀌지 않습니다.
- 공급사마다 한 질문에 받을 수 있는 보기 수에 상한이 있습니다(10개·26개 등). 테트리스는 최대 34개라, 상한이 더 작은 AI 모델은 질문을 바꾸지 않고 측정 불가로 표기했습니다.
- 게임마다 나누어 2026년 10월 12일~24일에 측정했습니다. 함께 측정한 AI 모델들은 같은 순간에 출발했고, 나중에 추가한 모델은 같은 시작값·조건으로 별도로 측정했습니다. 측정한 날이 다르면 공급사 응답 속도가 달랐을 수 있습니다.
- Perplexity Decider v1 27B은 다른 측정에서 Perplexity Decider v1.1 27B와 모든 문항에 같은 답을 반환해 같은 모델로 보고 순위에서 제외했습니다. 이 모델에 사용한 호출·비용은 측정 총계에 포함되어 있습니다.
자주 묻는 질문
Q.AIB DecisionBench-Game은 무엇을 측정하나요?
A.판단형 AI가 시간 제한이 있는 일에서 얼마나 제때, 정확하게, 저렴하게 판단하는지를 측정합니다. 같은 실시간 게임을 모든 AI 모델이 같은 조건으로 진행하고, 실시간 점수·시간이 충분할 때 점수·응답 시간·비용을 각각 보여 줍니다.
Q.정답률 벤치마크와 무엇이 다른가요?
A.정답률 벤치마크는 답이 늦어도 맞으면 점수를 인정합니다. 이 벤치마크는 답이 늦으면 그사이 게임 상황이 바뀌어 점수를 잃습니다. 이번 측정에서 두더지 잡기는 시간이 충분할 때 18종이 만점이었지만, 실시간 종합 점수는 6.2점에서 69.5점까지 갈렸습니다.
Q.1위 AI 모델은 무엇인가요?
A.2026년 10월 12일~24일 측정 기준 종합 1위는 GPT-6 Luna Decisions(69.5점, 응답 중앙값 234ms)입니다. 응답이 가장 빠른 AI 모델은 Clef Omni(184ms)입니다.
Q.뱀 게임 점수는 어떻게 계산하나요?
A.100 × (0.7 × 생존 시간 ÷ 60초 + 0.3 × 사과 점수 ÷ 20)입니다. 뱀 게임의 목표는 오래 살아남기라 생존 시간에 70%를 주고, 사과는 20점을 상한으로 30%만 반영합니다. 60초를 모두 살아남고 사과 20점을 얻으면 100점입니다.
Q.왜 이미지가 아니라 텍스트로 제시하나요?
A.측정 대상 대부분이 텍스트만 입력받는 AI 모델이라 모두가 같은 조건에서 겨루도록 게임 화면을 글자로 보냅니다. 그래서 지금 게임은 모두 시각적 구별보다 속도와 상황 판단을 주로 측정합니다.
Q.영상 결과와 순위가 다른 이유는?
A.영상은 게임 한 번의 기록이고, 순위표는 여러 번 측정한 결과의 평균입니다. 한 번의 게임에서는 운이 크게 작용하므로 AI 모델을 고를 때는 순위표를 보세요.
Q.테트리스 점수는 어떻게 계산하나요?
A.100 × 쌓은 블록 ÷ 150입니다. 테트리스의 목표는 오래 버티기입니다. 떨어지는 속도는 블록 개수와 비례하므로 전체 시간이 아니라 떨어진 블록 수가 이 게임의 측정 지표입니다. 지운 줄은 쌓은 블록과 거의 비례해서 점수에 별도로 반영하지 않습니다. 150개를 모두 쌓으면 100점입니다.
Q.핑퐁 점수는 어떻게 계산하나요?
A.기준 봇 4단계와 2번씩 겨룬 8경기에서 득점 비율을 평균합니다. 봇은 공이 떨어질 자리를 정확히 알지만 반응이 늦으며, 단계가 오를수록 더 빨리 반응합니다(패들이 움직이는 속도는 모든 단계가 같고, 3·4단계는 AI 모델 패들에서 먼 쪽으로 받아칩니다). 아무도 공을 놓치지 않아 시간 상한에 걸린 경기는 무승부(50%)로 계산합니다.
측정해 보고 싶은 판단형 AI가 있나요?
게임 벤치마크에 추가하고 싶은 판단형 AI가 있다면 알려 주세요. 검토 후 다음 측정에 반영하겠습니다.