판단형 AI, 실시간 게임에서는 누가 이길까?

AIB DecisionBench-Game은 판단형(Decision) AI의 정확성·속도·비용을 실시간 게임으로 측정하는 벤치마크입니다. 여러 실무에서 빠르고 정확한 판단을 연이어 내려야 하는 판단형 AI의 쓰임새에 맞춰 설계했습니다.

22
모델
4
게임
616
플레이
27,281
실시간 판단

설계 의도

판단형 AI는 제시된 보기 중 하나를 확률과 함께 0.2~0.6초 만에 고릅니다. 실무에서는 이런 판단이 쉬지 않고 이어지고, 판단이 끝날 때까지 상황이 기다려 주지 않는 경우가 많습니다. 정답률만으로는 알 수 없는 이런 실전 능력을, 판단이 조금만 늦어도 승패가 갈리는 실시간 게임으로 측정합니다.

측정 방식

한 번에 측정하는 AI 모델들은 같은 시작 조건으로 게임을 동시에 시작하고, 나중에 추가한 모델은 같은 조건으로 별도로 측정합니다. 게임은 실시간으로 진행되며 올바른 판단이라도 타이밍이 늦으면 반영되지 않습니다. 한 번의 운에 좌우되지 않도록 게임마다 시작 조건을 바꿔 여러 번 진행해 평균을 산출합니다(두더지 잡기 10회 · 뱀 게임 5회 · 테트리스 5회 · 핑퐁 8회). 이어서 같은 게임을 이번에는 판단하는 동안 게임 시계를 멈추고 한 번 더 도전해, 점수가 낮은 이유가 판단력 때문인지 속도 때문인지를 구분합니다.

지표

  • 실시간 점수 — 게임마다 0~100. 판단 능력과 속도를 함께 반영
  • 시간이 충분할 때 점수 — 판단 능력만 확인
  • 느려서 잃은 점수 — 실시간 점수와 시간이 충분할 때 점수의 차이
  • 응답 시간 · 1천 회 비용 — 판단 한 번에 걸리는 시간과 판단 1천 회에 소요되는 비용
  • 측정 게임 — 두더지 잡기 · 뱀 게임 · 테트리스 · 핑퐁 4종, 순차적으로 추가 예정

2026년 10월 12일~24일 측정. 판단형 AI 22종 중 종합 1위는 GPT-6 Luna Decisions(69.5점)입니다.

  • 게임 순위는 시간 제한이 없을 때는 텍스트 판단 순위와 거의 같지만, 실시간에서는 크게 달라집니다.
  • 두더지 잡기·뱀 게임·테트리스·핑퐁에서는 평소 속도보다 가끔 크게 늦는 응답이 순위를 더 많이 떨어뜨렸습니다.
  • 시간 제한이 없어도 점수 차가 큰 테트리스에서는 판단력이, 시간 제한이 없으면 대부분 점수가 높은 두더지 잡기·뱀 게임·핑퐁에서는 응답 속도가 순위를 가릅니다.
인사이트 전체 보기

종합 순위

  1. 🥇OpenAIGPT-6 Luna Decisions69.587.2
    두더지 잡기
    93.6
    뱀 게임
    71.0
    테트리스
    52.1
    핑퐁
    61.4
    응답 중앙값
    234ms
    1천 회 비용
    $0.041
  2. 🥈TypeSafeJev 1.1358.291.6
    두더지 잡기
    82.7
    뱀 게임
    50.4
    테트리스
    51.1
    핑퐁
    48.5
    응답 중앙값
    397ms
    1천 회 비용
    $0.030
  3. 🥉PerplexityDecider V1.256.486.6
    두더지 잡기
    86.1
    뱀 게임
    49.3
    테트리스
    28.8
    핑퐁
    61.4
    응답 중앙값
    349ms
    1천 회 비용
    $0.0075
  4. #4PerplexityDecider Flash V1.255.580.5
    두더지 잡기
    93.2
    뱀 게임
    56.8
    테트리스
    20.1
    핑퐁
    52.1
    응답 중앙값
    269ms
    1천 회 비용
    $0.0032
  5. #5CloudflareClef Omni55.371.7
    두더지 잡기
    98.1
    뱀 게임
    64.6
    테트리스
    12.3
    핑퐁
    46.4
    응답 중앙값
    184ms
    1천 회 비용
    $0.053
  6. #6TypeSafeJev 1.1454.189.5
    두더지 잡기
    80.7
    뱀 게임
    45.7
    테트리스
    40.4
    핑퐁
    49.4
    응답 중앙값
    395ms
    1천 회 비용
    $0.028
  7. #7PerplexityPerplexity Decider v1.1 27B52.791.8
    두더지 잡기
    79.4
    뱀 게임
    32.4
    테트리스
    42.0
    핑퐁
    56.8
    응답 중앙값
    391ms
    1천 회 비용
    $0.0087
  8. #8CloudflareClef50.483.4
    두더지 잡기
    73.0
    뱀 게임
    50.1
    테트리스
    29.1
    핑퐁
    49.5
    응답 중앙값
    385ms
    1천 회 비용
    $0.113
  9. #9Liquid AID142.587.2
    두더지 잡기
    60.5
    뱀 게임
    34.8
    테트리스
    31.5
    핑퐁
    43.1
    응답 중앙값
    514ms
    1천 회 비용
    $0.0078
  10. #10CloudflareClef Flash41.977.4
    두더지 잡기
    61.1
    뱀 게임
    44.6
    테트리스
    14.1
    핑퐁
    47.9
    응답 중앙값
    410ms
    1천 회 비용
    $0.033
  11. #11Liquid AID1 Ultra38.188.4
    두더지 잡기
    52.7
    뱀 게임
    21.5
    테트리스
    26.5
    핑퐁
    51.5
    응답 중앙값
    547ms
    1천 회 비용
    $0.014
  12. #12Nace AIDrex Max33.981.3
    두더지 잡기
    39.9
    뱀 게임
    52.3
    테트리스
    23.3
    핑퐁
    20.3
    응답 중앙값
    710ms
    1천 회 비용
    $0.022
  13. #13Nace AIDrex v1.531.481.9
    두더지 잡기
    49.1
    뱀 게임
    34.1
    테트리스
    18.3
    핑퐁
    24.1
    응답 중앙값
    664ms
    1천 회 비용
    $0.011
  14. #14ScaleDownClassify-131.269.4
    두더지 잡기
    49.5
    뱀 게임
    42.9
    테트리스
    17.7
    핑퐁
    14.6
    응답 중앙값
    739ms
    1천 회 비용
    $0.039
  15. #15MicrosoftMicrosoft-Decision-130.687.5
    두더지 잡기
    30.5
    뱀 게임
    38.6
    테트리스
    26.8
    핑퐁
    26.6
    응답 중앙값
    642ms
    1천 회 비용
    $0.014
  16. #16AlibabaDecision Model Preview28.262.7
    두더지 잡기
    45.5
    뱀 게임
    24.7
    테트리스
    13.2
    핑퐁
    29.6
    응답 중앙값
    663ms
    1천 회 비용
    일시 무료
  17. #17Nace AIDrex v2.026.171.4
    두더지 잡기
    40.7
    뱀 게임
    28.8
    테트리스
    24.5
    핑퐁
    10.4
    응답 중앙값
    713ms
    1천 회 비용
    $0.018
  18. #18UpstageSolar Decide Flash22.744.9
    두더지 잡기
    36.7
    뱀 게임
    23.3
    테트리스
    9.3
    핑퐁
    21.4
    응답 중앙값
    546ms
    1천 회 비용
    $0.027
  19. #19Jared PalmerKev 4B22.674.6
    두더지 잡기
    30.4
    뱀 게임
    24.0
    테트리스
    14.4
    핑퐁
    21.4
    응답 중앙값
    747ms
    1천 회 비용
    $0.012
  20. #20RespanSpan-0221.082.4
    두더지 잡기
    33.8
    뱀 게임
    18.1
    테트리스
    23.2
    핑퐁
    8.9
    응답 중앙값
    801ms
    1천 회 비용
    $0.0036
  21. #21InceptionMercury Decide11.182.2
    두더지 잡기
    15.1
    뱀 게임
    16.2
    테트리스
    10.9
    핑퐁
    2.1
    응답 중앙값
    326ms
    1천 회 비용
    일시 무료
  22. #22UpstageSolar Decide6.255.6
    두더지 잡기
    10.2
    뱀 게임
    8.4
    테트리스
    —
    핑퐁
    0.0
    응답 중앙값
    5.8s
    1천 회 비용
    $0.022
순위모델종합 점수두더지 잡기뱀 게임테트리스핑퐁응답 중앙값1천 회 비용
🥇OpenAIGPT-6 Luna Decisions69.587.293.671.052.161.4234ms$0.041
🥈TypeSafeJev 1.1358.291.682.750.451.148.5397ms$0.030
🥉PerplexityDecider V1.256.486.686.149.328.861.4349ms$0.0075
#4PerplexityDecider Flash V1.255.580.593.256.820.152.1269ms$0.0032
#5CloudflareClef Omni55.371.798.164.612.346.4184ms$0.053
#6TypeSafeJev 1.1454.189.580.745.740.449.4395ms$0.028
#7PerplexityPerplexity Decider v1.1 27B52.791.879.432.442.056.8391ms$0.0087
#8CloudflareClef50.483.473.050.129.149.5385ms$0.113
#9Liquid AID142.587.260.534.831.543.1514ms$0.0078
#10CloudflareClef Flash41.977.461.144.614.147.9410ms$0.033
#11Liquid AID1 Ultra38.188.452.721.526.551.5547ms$0.014
#12Nace AIDrex Max33.981.339.952.323.320.3710ms$0.022
#13Nace AIDrex v1.531.481.949.134.118.324.1664ms$0.011
#14ScaleDownClassify-131.269.449.542.917.714.6739ms$0.039
#15MicrosoftMicrosoft-Decision-130.687.530.538.626.826.6642ms$0.014
#16AlibabaDecision Model Preview28.262.745.524.713.229.6663ms일시 무료
#17Nace AIDrex v2.026.171.440.728.824.510.4713ms$0.018
#18UpstageSolar Decide Flash22.744.936.723.39.321.4546ms$0.027
#19Jared PalmerKev 4B22.674.630.424.014.421.4747ms$0.012
#20RespanSpan-0221.082.433.818.123.28.9801ms$0.0036
#21InceptionMercury Decide11.182.215.116.210.92.1326ms일시 무료
#22UpstageSolar Decide6.255.610.28.4—0.05.8s$0.022

종합 점수는 게임마다 0~100으로 맞춘 실시간 점수의 평균입니다. 동점이면 판단 1회 비용(10% 미만 차이는 동일한 것으로 간주) → 응답 중앙값 순으로 결정합니다.

종합 점수 아래의 회색 숫자는 시간이 충분할 때의 종합 점수입니다. 같은 게임을 게임 시계를 멈추고 다시 진행했을 때 점수의 평균으로, 판단 능력만 반영합니다.

게임별 결과

두더지 잡기

10회 측정 평균

3×3 칸에 🐭·🐰·🐹가 0.4~1.9초 동안 나왔다가 들어갑니다. 🐭를 선택하면 +2점, 🐰·🐹를 선택하면 −1점입니다. AI 모델은 매번 선택할 칸 하나 혹은 '선택 안 함'을 고르고, 게임은 25초간 진행됩니다.

  1. 🥇CloudflareClef Omni98.1±2.1
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −1.9
    🐭 적중
    98%
    응답 중앙값
    129ms
    느린 5%
    263ms
    1천 회 비용
    $0.032
  2. 🥈OpenAIGPT-6 Luna Decisions93.6±8.2
    시간이 충분할 때
    99.5
    느려서 잃은 점수
    −5.9
    🐭 적중
    94%
    응답 중앙값
    226ms
    느린 5%
    368ms
    1천 회 비용
    $0.020
  3. 🥉PerplexityDecider Flash V1.293.2±4.0
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −6.8
    🐭 적중
    93%
    응답 중앙값
    260ms
    느린 5%
    353ms
    1천 회 비용
    $0.0018
  4. #4PerplexityDecider V1.286.1±4.1
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −13.9
    🐭 적중
    86%
    응답 중앙값
    336ms
    느린 5%
    438ms
    1천 회 비용
    $0.0035
  5. #5TypeSafeJev 1.1382.7±5.6
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −17.3
    🐭 적중
    82%
    응답 중앙값
    384ms
    느린 5%
    503ms
    1천 회 비용
    $0.017
  6. #6TypeSafeJev 1.1480.7±5.9
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −19.3
    🐭 적중
    81%
    응답 중앙값
    399ms
    느린 5%
    459ms
    1천 회 비용
    $0.018
  7. #7PerplexityPerplexity Decider v1.1 27B79.4±4.7
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −20.6
    🐭 적중
    79%
    응답 중앙값
    406ms
    느린 5%
    579ms
    1천 회 비용
    $0.0036
  8. #8CloudflareClef73.0±9.7
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −27.0
    🐭 적중
    72%
    응답 중앙값
    400ms
    느린 5%
    817ms
    1천 회 비용
    $0.053
  9. #9CloudflareClef Flash61.1±8.8
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −38.9
    🐭 적중
    61%
    응답 중앙값
    475ms
    느린 5%
    971ms
    1천 회 비용
    $0.020
  10. #10Liquid AID160.5±9.8
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −39.5
    🐭 적중
    60%
    응답 중앙값
    499ms
    느린 5%
    732ms
    1천 회 비용
    $0.0028
  11. #11Liquid AID1 Ultra52.7±10.1
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −47.3
    🐭 적중
    52%
    응답 중앙값
    525ms
    느린 5%
    1.1s
    1천 회 비용
    $0.0058
  12. #12ScaleDownClassify-149.5±9.5
    시간이 충분할 때
    97.1
    느려서 잃은 점수
    −47.5
    🐭 적중
    49%
    응답 중앙값
    551ms
    느린 5%
    861ms
    1천 회 비용
    $0.013
  13. #13Nace AIDrex v1.549.1±8.5
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −50.9
    🐭 적중
    49%
    응답 중앙값
    504ms
    느린 5%
    950ms
    1천 회 비용
    $0.0043
  14. #14AlibabaDecision Model Preview45.5±11.3
    시간이 충분할 때
    66.1
    느려서 잃은 점수
    −20.6
    🐭 적중
    53%
    응답 중앙값
    643ms
    느린 5%
    823ms
    1천 회 비용
    일시 무료
  15. #15Nace AIDrex v2.040.7±9.5
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −59.3
    🐭 적중
    40%
    응답 중앙값
    547ms
    느린 5%
    1.0s
    1천 회 비용
    $0.0065
  16. #16Nace AIDrex Max39.9±7.4
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −60.1
    🐭 적중
    40%
    응답 중앙값
    538ms
    느린 5%
    1.1s
    1천 회 비용
    $0.011
  17. #17UpstageSolar Decide Flash36.7±6.3
    시간이 충분할 때
    50.4
    느려서 잃은 점수
    −13.7
    🐭 적중
    49%
    응답 중앙값
    545ms
    느린 5%
    858ms
    1천 회 비용
    $0.021
  18. #18RespanSpan-0233.8±9.3
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −66.2
    🐭 적중
    34%
    응답 중앙값
    763ms
    느린 5%
    1.1s
    1천 회 비용
    $0.0018
  19. #19MicrosoftMicrosoft-Decision-130.5±6.9
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −69.5
    🐭 적중
    30%
    응답 중앙값
    631ms
    느린 5%
    1.6s
    1천 회 비용
    $0.0050
  20. #20Jared PalmerKev 4B30.4±5.0
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −69.6
    🐭 적중
    31%
    응답 중앙값
    723ms
    느린 5%
    1.2s
    1천 회 비용
    $0.0046
  21. #21InceptionMercury Decide15.1±4.2
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −84.9
    🐭 적중
    15%
    응답 중앙값
    302ms
    느린 5%
    834ms
    1천 회 비용
    일시 무료
  22. #22UpstageSolar Decide10.2±6.8
    시간이 충분할 때
    97.0
    느려서 잃은 점수
    −86.8
    🐭 적중
    9%
    응답 중앙값
    1.9s
    느린 5%
    7.2s
    1천 회 비용
    $0.021
순위모델실시간 점수시간이 충분할 때느려서 잃은 점수🐭 적중응답 중앙값느린 5%1천 회 비용
🥇CloudflareClef Omni98.1±2.1100.0−1.998%129ms263ms$0.032
🥈OpenAIGPT-6 Luna Decisions93.6±8.299.5−5.994%226ms368ms$0.020
🥉PerplexityDecider Flash V1.293.2±4.0100.0−6.893%260ms353ms$0.0018
#4PerplexityDecider V1.286.1±4.1100.0−13.986%336ms438ms$0.0035
#5TypeSafeJev 1.1382.7±5.6100.0−17.382%384ms503ms$0.017
#6TypeSafeJev 1.1480.7±5.9100.0−19.381%399ms459ms$0.018
#7PerplexityPerplexity Decider v1.1 27B79.4±4.7100.0−20.679%406ms579ms$0.0036
#8CloudflareClef73.0±9.7100.0−27.072%400ms817ms$0.053
#9CloudflareClef Flash61.1±8.8100.0−38.961%475ms971ms$0.020
#10Liquid AID160.5±9.8100.0−39.560%499ms732ms$0.0028
#11Liquid AID1 Ultra52.7±10.1100.0−47.352%525ms1.1s$0.0058
#12ScaleDownClassify-149.5±9.597.1−47.549%551ms861ms$0.013
#13Nace AIDrex v1.549.1±8.5100.0−50.949%504ms950ms$0.0043
#14AlibabaDecision Model Preview45.5±11.366.1−20.653%643ms823ms일시 무료
#15Nace AIDrex v2.040.7±9.5100.0−59.340%547ms1.0s$0.0065
#16Nace AIDrex Max39.9±7.4100.0−60.140%538ms1.1s$0.011
#17UpstageSolar Decide Flash36.7±6.350.4−13.749%545ms858ms$0.021
#18RespanSpan-0233.8±9.3100.0−66.234%763ms1.1s$0.0018
#19MicrosoftMicrosoft-Decision-130.5±6.9100.0−69.530%631ms1.6s$0.0050
#20Jared PalmerKev 4B30.4±5.0100.0−69.631%723ms1.2s$0.0046
#21InceptionMercury Decide15.1±4.2100.0−84.915%302ms834ms일시 무료
#22UpstageSolar Decide10.2±6.897.0−86.89%1.9s7.2s$0.021

점수는 게임마다 만점(두더지 수 × 2) 대비 %로 환산해 평균했습니다.

🐭가 표시된 시간별 적중률

모델빠름 (0.7초 미만)보통 (0.7~1.2초)느림 (1.2초 이상)
Clef Omni98%98%98%
GPT-6 Luna Decisions95%97%89%
Decider Flash V1.285%97%95%
Decider V1.269%93%90%
Jev 1.1359%92%90%
Jev 1.1456%90%90%
Perplexity Decider v1.1 27B54%89%89%
Clef41%81%89%
Clef Flash34%63%84%
D114%71%89%
D1 Ultra20%54%78%
Classify-112%54%78%
Drex v1.524%46%78%
Decision Model Preview17%58%79%
Drex v2.08%42%68%
Drex Max3%42%71%
Solar Decide Flash14%53%78%
Span-022%27%73%
Microsoft-Decision-10%27%62%
Kev 4B0%25%68%
Mercury Decide2%17%24%
Solar Decide2%10%16%

두더지가 빨리 들어갈수록 응답이 느린 AI 모델은 판단하기 전에 놓칩니다. 이 표가 속도의 차이를 가장 직접적으로 보여 줍니다.

영상으로 보기

영상은 같은 날 측정한 게임 한 번을 실제 속도로 보여 줍니다. 위 순위는 10회 평균이라 영상 결과와 다를 수 있습니다.

뱀 게임

5회 측정 평균

뱀이 15×15 보드에서 한 칸씩 움직입니다. AI 모델은 매번 왼쪽·직진·오른쪽 중 하나를 고르고, 벽이나 자기 몸에 부딪히면 끝납니다. 🍎를 먹으면 +1점, 🍅·🍓는 −1점입니다. 전체 게임은 최대 60초이고, 뱀은 1초에 한 칸으로 시작해 60초 동안 0.25초에 한 칸까지 빨라집니다.

  1. 🥇OpenAIGPT-6 Luna Decisions71.0±20.4
    시간이 충분할 때
    79.0
    느려서 잃은 점수
    −8.0
    평균 생존
    54.5초
    사과 점수
    5.0
    응답 중앙값
    241ms
    느린 5%
    411ms
    1천 회 비용
    $0.024
  2. 🥈CloudflareClef Omni64.6±40.4
    시간이 충분할 때
    88.6
    느려서 잃은 점수
    −24.0
    평균 생존
    40.2초
    사과 점수
    11.8
    응답 중앙값
    170ms
    느린 5%
    342ms
    1천 회 비용
    $0.040
  3. 🥉PerplexityDecider Flash V1.256.8±46.3
    시간이 충분할 때
    97.0
    느려서 잃은 점수
    −40.2
    평균 생존
    35.0초
    사과 점수
    11.0
    응답 중앙값
    259ms
    느린 5%
    325ms
    1천 회 비용
    $0.0024
  4. #4Nace AIDrex Max52.3±17.5
    시간이 충분할 때
    90.1
    느려서 잃은 점수
    −37.8
    평균 생존
    40.9초
    사과 점수
    3.0
    응답 중앙값
    714ms
    느린 5%
    905ms
    1천 회 비용
    $0.015
  5. #5TypeSafeJev 1.1350.4±2.8
    시간이 충분할 때
    83.9
    느려서 잃은 점수
    −33.5
    평균 생존
    34.0초
    사과 점수
    7.2
    응답 중앙값
    419ms
    느린 5%
    565ms
    1천 회 비용
    $0.021
  6. #6CloudflareClef50.1±11.0
    시간이 충분할 때
    83.0
    느려서 잃은 점수
    −32.9
    평균 생존
    34.2초
    사과 점수
    6.8
    응답 중앙값
    360ms
    느린 5%
    871ms
    1천 회 비용
    $0.065
  7. #7PerplexityDecider V1.249.3±39.7
    시간이 충분할 때
    95.8
    느려서 잃은 점수
    −46.5
    평균 생존
    30.4초
    사과 점수
    9.2
    응답 중앙값
    336ms
    느린 5%
    471ms
    1천 회 비용
    $0.0048
  8. #8TypeSafeJev 1.1445.7±15.9
    시간이 충분할 때
    97.0
    느려서 잃은 점수
    −51.3
    평균 생존
    30.7초
    사과 점수
    6.6
    응답 중앙값
    403ms
    느린 5%
    496ms
    1천 회 비용
    $0.021
  9. #9CloudflareClef Flash44.6±21.6
    시간이 충분할 때
    92.5
    느려서 잃은 점수
    −47.9
    평균 생존
    29.3초
    사과 점수
    7.0
    응답 중앙값
    371ms
    느린 5%
    1.1s
    1천 회 비용
    $0.024
  10. #10ScaleDownClassify-142.9±23.7
    시간이 충분할 때
    43.1
    느려서 잃은 점수
    −0.2
    평균 생존
    33.7초
    사과 점수
    2.4
    응답 중앙값
    574ms
    느린 5%
    1.0s
    1천 회 비용
    $0.015
  11. #11MicrosoftMicrosoft-Decision-138.6±30.6
    시간이 충분할 때
    96.4
    느려서 잃은 점수
    −57.8
    평균 생존
    29.5초
    사과 점수
    2.8
    응답 중앙값
    636ms
    느린 5%
    1.6s
    1천 회 비용
    $0.0069
  12. #12Liquid AID134.8±4.2
    시간이 충분할 때
    89.6
    느려서 잃은 점수
    −54.8
    평균 생존
    25.2초
    사과 점수
    3.6
    응답 중앙값
    512ms
    느린 5%
    622ms
    1천 회 비용
    $0.0083
  13. #13Nace AIDrex v1.534.1±22.8
    시간이 충분할 때
    95.5
    느려서 잃은 점수
    −61.4
    평균 생존
    24.3초
    사과 점수
    3.8
    응답 중앙값
    494ms
    느린 5%
    1.2s
    1천 회 비용
    $0.0066
  14. #14PerplexityPerplexity Decider v1.1 27B32.4±26.3
    시간이 충분할 때
    93.4
    느려서 잃은 점수
    −61.0
    평균 생존
    22.6초
    사과 점수
    4.0
    응답 중앙값
    386ms
    느린 5%
    757ms
    1천 회 비용
    $0.0048
  15. #15Nace AIDrex v2.028.8±24.4
    시간이 충분할 때
    94.8
    느려서 잃은 점수
    −65.9
    평균 생존
    21.1초
    사과 점수
    2.8
    응답 중앙값
    547ms
    느린 5%
    1.0s
    1천 회 비용
    $0.0098
  16. #16AlibabaDecision Model Preview24.7±15.4
    시간이 충분할 때
    85.3
    느려서 잃은 점수
    −60.7
    평균 생존
    18.3초
    사과 점수
    2.2
    응답 중앙값
    653ms
    느린 5%
    1.1s
    1천 회 비용
    일시 무료
  17. #17Jared PalmerKev 4B24.0±24.3
    시간이 충분할 때
    78.8
    느려서 잃은 점수
    −54.8
    평균 생존
    18.0초
    사과 점수
    2.0
    응답 중앙값
    707ms
    느린 5%
    1.4s
    1천 회 비용
    $0.0069
  18. #18UpstageSolar Decide Flash23.3±9.2
    시간이 충분할 때
    30.3
    느려서 잃은 점수
    −7.0
    평균 생존
    17.6초
    사과 점수
    1.8
    응답 중앙값
    545ms
    느린 5%
    710ms
    1천 회 비용
    $0.024
  19. #19Liquid AID1 Ultra21.5±10.7
    시간이 충분할 때
    88.5
    느려서 잃은 점수
    −67.0
    평균 생존
    15.6초
    사과 점수
    2.2
    응답 중앙값
    601ms
    느린 5%
    1.6s
    1천 회 비용
    $0.0087
  20. #20RespanSpan-0218.1±15.8
    시간이 충분할 때
    91.2
    느려서 잃은 점수
    −73.1
    평균 생존
    14.5초
    사과 점수
    0.8
    응답 중앙값
    780ms
    느린 5%
    2.5s
    1천 회 비용
    $0.0025
  21. #21InceptionMercury Decide16.2±8.6
    시간이 충분할 때
    93.7
    느려서 잃은 점수
    −77.4
    평균 생존
    12.6초
    사과 점수
    1.0
    응답 중앙값
    307ms
    느린 5%
    464ms
    1천 회 비용
    일시 무료
  22. #22UpstageSolar Decide8.4±0.8
    시간이 충분할 때
    24.9
    느려서 잃은 점수
    −16.5
    평균 생존
    6.9초
    사과 점수
    0.2
    응답 중앙값
    5.7s
    느린 5%
    10.8s
    1천 회 비용
    $0.0099
순위모델실시간 점수시간이 충분할 때느려서 잃은 점수평균 생존사과 점수응답 중앙값느린 5%1천 회 비용
🥇OpenAIGPT-6 Luna Decisions71.0±20.479.0−8.054.5초5.0241ms411ms$0.024
🥈CloudflareClef Omni64.6±40.488.6−24.040.2초11.8170ms342ms$0.040
🥉PerplexityDecider Flash V1.256.8±46.397.0−40.235.0초11.0259ms325ms$0.0024
#4Nace AIDrex Max52.3±17.590.1−37.840.9초3.0714ms905ms$0.015
#5TypeSafeJev 1.1350.4±2.883.9−33.534.0초7.2419ms565ms$0.021
#6CloudflareClef50.1±11.083.0−32.934.2초6.8360ms871ms$0.065
#7PerplexityDecider V1.249.3±39.795.8−46.530.4초9.2336ms471ms$0.0048
#8TypeSafeJev 1.1445.7±15.997.0−51.330.7초6.6403ms496ms$0.021
#9CloudflareClef Flash44.6±21.692.5−47.929.3초7.0371ms1.1s$0.024
#10ScaleDownClassify-142.9±23.743.1−0.233.7초2.4574ms1.0s$0.015
#11MicrosoftMicrosoft-Decision-138.6±30.696.4−57.829.5초2.8636ms1.6s$0.0069
#12Liquid AID134.8±4.289.6−54.825.2초3.6512ms622ms$0.0083
#13Nace AIDrex v1.534.1±22.895.5−61.424.3초3.8494ms1.2s$0.0066
#14PerplexityPerplexity Decider v1.1 27B32.4±26.393.4−61.022.6초4.0386ms757ms$0.0048
#15Nace AIDrex v2.028.8±24.494.8−65.921.1초2.8547ms1.0s$0.0098
#16AlibabaDecision Model Preview24.7±15.485.3−60.718.3초2.2653ms1.1s일시 무료
#17Jared PalmerKev 4B24.0±24.378.8−54.818.0초2.0707ms1.4s$0.0069
#18UpstageSolar Decide Flash23.3±9.230.3−7.017.6초1.8545ms710ms$0.024
#19Liquid AID1 Ultra21.5±10.788.5−67.015.6초2.2601ms1.6s$0.0087
#20RespanSpan-0218.1±15.891.2−73.114.5초0.8780ms2.5s$0.0025
#21InceptionMercury Decide16.2±8.693.7−77.412.6초1.0307ms464ms일시 무료
#22UpstageSolar Decide8.4±0.824.9−16.56.9초0.25.7s10.8s$0.0099

점수는 생존 시간 70%, 사과 점수 30%로 계산합니다. 오래 살아남는 것이 목표이고 사과는 보조 점수입니다.

게임이 끝난 이유

모델
  • 벽에 부딪힘
  • 자기 몸에 부딪힘
  • 끝까지 생존
  • GPT-6 Luna Decisions
  • Clef Omni
  • Decider Flash V1.2
  • Drex Max
  • Jev 1.13
  • Clef
  • Decider V1.2
  • Jev 1.14
  • Clef Flash
  • Classify-1
  • Microsoft-Decision-1
  • D1
  • Drex v1.5
  • Perplexity Decider v1.1 27B
  • Drex v2.0
  • Decision Model Preview
  • Kev 4B
  • Solar Decide Flash
  • D1 Ultra
  • Span-02
  • Mercury Decide
  • Solar Decide

응답이 늦으면 방향을 바꾸기 전에 벽에 닿습니다. 시간이 충분할 때는 22개 중 15개가 54초 넘게 살아남았습니다.

영상으로 보기

영상은 같은 날 측정한 게임 한 번을 2배속으로 보여 줍니다. 위 순위는 5회 평균이라 영상 결과와 다를 수 있습니다.

테트리스

5회 측정 평균

10×20 보드에 블록이 하나씩 떨어집니다. AI 모델은 블록마다 놓을 방향과 위치를 고르고, 모두 메운 줄은 사라집니다. 블록 순서는 동일하고, 블록이 늘어날수록 떨어지는 속도가 빨라집니다(한 칸 0.35초 → 150번째 0.02초).

  1. 🥇OpenAIGPT-6 Luna Decisions52.1±20.7
    시간이 충분할 때
    76.0
    느려서 잃은 점수
    −23.9
    쌓은 블록
    78.2개
    지운 줄
    21.6
    피할 수 있던 구멍
    11%
    응답 중앙값
    237ms
    느린 5%
    377ms
    1천 회 비용
    $0.095
  2. 🥈TypeSafeJev 1.1351.1±17.4
    시간이 충분할 때
    82.5
    느려서 잃은 점수
    −31.5
    쌓은 블록
    76.6개
    지운 줄
    22.8
    피할 수 있던 구멍
    2%
    응답 중앙값
    383ms
    느린 5%
    462ms
    1천 회 비용
    $0.056
  3. 🥉PerplexityPerplexity Decider v1.1 27B42.0±14.6
    시간이 충분할 때
    73.9
    느려서 잃은 점수
    −31.9
    쌓은 블록
    63.0개
    지운 줄
    16.4
    피할 수 있던 구멍
    3%
    응답 중앙값
    405ms
    느린 5%
    515ms
    1천 회 비용
    $0.020
  4. #4TypeSafeJev 1.1440.4±21.9
    시간이 충분할 때
    62.9
    느려서 잃은 점수
    −22.5
    쌓은 블록
    60.6개
    지운 줄
    16.8
    피할 수 있던 구멍
    2%
    응답 중앙값
    387ms
    느린 5%
    469ms
    1천 회 비용
    $0.056
  5. #5Liquid AID131.5±13.2
    시간이 충분할 때
    61.3
    느려서 잃은 점수
    −29.9
    쌓은 블록
    47.2개
    지운 줄
    10.6
    피할 수 있던 구멍
    3%
    응답 중앙값
    524ms
    느린 5%
    656ms
    1천 회 비용
    $0.016
  6. #6CloudflareClef29.1±7.7
    시간이 충분할 때
    52.7
    느려서 잃은 점수
    −23.6
    쌓은 블록
    43.6개
    지운 줄
    9.0
    피할 수 있던 구멍
    10%
    응답 중앙값
    407ms
    느린 5%
    775ms
    1천 회 비용
    $0.297
  7. #7PerplexityDecider V1.228.8±16.6
    시간이 충분할 때
    50.7
    느려서 잃은 점수
    −21.9
    쌓은 블록
    43.2개
    지운 줄
    9.4
    피할 수 있던 구멍
    2%
    응답 중앙값
    352ms
    느린 5%
    493ms
    1천 회 비용
    $0.020
  8. #8MicrosoftMicrosoft-Decision-126.8±6.1
    시간이 충분할 때
    62.0
    느려서 잃은 점수
    −35.2
    쌓은 블록
    40.2개
    지운 줄
    7.8
    피할 수 있던 구멍
    9%
    응답 중앙값
    636ms
    느린 5%
    1.5s
    1천 회 비용
    $0.037
  9. #9Liquid AID1 Ultra26.5±8.7
    시간이 충분할 때
    65.2
    느려서 잃은 점수
    −38.7
    쌓은 블록
    39.8개
    지운 줄
    7.4
    피할 수 있던 구멍
    2%
    응답 중앙값
    535ms
    느린 5%
    1.0s
    1천 회 비용
    $0.034
  10. #10Nace AIDrex v2.024.5±8.7
    시간이 충분할 때
    38.9
    느려서 잃은 점수
    −14.4
    쌓은 블록
    36.8개
    지운 줄
    7.0
    피할 수 있던 구멍
    2%
    응답 중앙값
    821ms
    느린 5%
    1.1s
    1천 회 비용
    $0.055
  11. #11Nace AIDrex Max23.3±8.7
    시간이 충분할 때
    39.5
    느려서 잃은 점수
    −16.1
    쌓은 블록
    35.0개
    지운 줄
    6.6
    피할 수 있던 구멍
    3%
    응답 중앙값
    723ms
    느린 5%
    1.4s
    1천 회 비용
    $0.059
  12. #12RespanSpan-0223.2±6.4
    시간이 충분할 때
    40.5
    느려서 잃은 점수
    −17.3
    쌓은 블록
    34.8개
    지운 줄
    5.6
    피할 수 있던 구멍
    7%
    응답 중앙값
    660ms
    느린 5%
    1.2s
    1천 회 비용
    $0.0088
  13. #13PerplexityDecider Flash V1.220.1±4.9
    시간이 충분할 때
    25.2
    느려서 잃은 점수
    −5.1
    쌓은 블록
    30.2개
    지운 줄
    1.8
    피할 수 있던 구멍
    5%
    응답 중앙값
    265ms
    느린 5%
    437ms
    1천 회 비용
    $0.0097
  14. #14Nace AIDrex v1.518.3±7.6
    시간이 충분할 때
    32.3
    느려서 잃은 점수
    −14.0
    쌓은 블록
    27.4개
    지운 줄
    3.0
    피할 수 있던 구멍
    2%
    응답 중앙값
    822ms
    느린 5%
    1.2s
    1천 회 비용
    $0.036
  15. #15ScaleDownClassify-117.7±6.2
    시간이 충분할 때
    42.8
    느려서 잃은 점수
    −25.1
    쌓은 블록
    26.6개
    지운 줄
    3.0
    피할 수 있던 구멍
    4%
    응답 중앙값
    798ms
    느린 5%
    1.6s
    1천 회 비용
    $0.142
  16. #16Jared PalmerKev 4B14.4±3.0
    시간이 충분할 때
    19.7
    느려서 잃은 점수
    −5.3
    쌓은 블록
    21.6개
    지운 줄
    0.2
    피할 수 있던 구멍
    14%
    응답 중앙값
    845ms
    느린 5%
    1.3s
    1천 회 비용
    $0.038
  17. #17CloudflareClef Flash14.1±3.0
    시간이 충분할 때
    17.2
    느려서 잃은 점수
    −3.1
    쌓은 블록
    21.2개
    지운 줄
    0.8
    피할 수 있던 구멍
    52%
    응답 중앙값
    499ms
    느린 5%
    1.1s
    1천 회 비용
    $0.110
  18. #18AlibabaDecision Model Preview13.2±0.9
    시간이 충분할 때
    14.8
    느려서 잃은 점수
    −1.6
    쌓은 블록
    19.8개
    지운 줄
    0.2
    피할 수 있던 구멍
    38%
    응답 중앙값
    690ms
    느린 5%
    1.1s
    1천 회 비용
    일시 무료
  19. #19CloudflareClef Omni12.3±4.3
    시간이 충분할 때
    13.6
    느려서 잃은 점수
    −1.3
    쌓은 블록
    18.4개
    지운 줄
    0.2
    피할 수 있던 구멍
    47%
    응답 중앙값
    250ms
    느린 5%
    510ms
    1천 회 비용
    $0.185
  20. #20InceptionMercury Decide10.9±1.1
    시간이 충분할 때
    37.3
    느려서 잃은 점수
    −26.4
    쌓은 블록
    16.4개
    지운 줄
    0.4
    피할 수 있던 구멍
    3%
    응답 중앙값
    380ms
    느린 5%
    653ms
    1천 회 비용
    일시 무료
  21. #21UpstageSolar Decide Flash9.3±1.3
    시간이 충분할 때
    9.6
    느려서 잃은 점수
    −0.3
    쌓은 블록
    14.0개
    지운 줄
    0.0
    피할 수 있던 구멍
    7%
    응답 중앙값
    557ms
    느린 5%
    998ms
    1천 회 비용
    $0.026
  22. —UpstageSolar Decide측정 불가 *
순위모델실시간 점수시간이 충분할 때느려서 잃은 점수쌓은 블록지운 줄피할 수 있던 구멍응답 중앙값느린 5%1천 회 비용
🥇OpenAIGPT-6 Luna Decisions52.1±20.776.0−23.978.2개21.611%237ms377ms$0.095
🥈TypeSafeJev 1.1351.1±17.482.5−31.576.6개22.82%383ms462ms$0.056
🥉PerplexityPerplexity Decider v1.1 27B42.0±14.673.9−31.963.0개16.43%405ms515ms$0.020
#4TypeSafeJev 1.1440.4±21.962.9−22.560.6개16.82%387ms469ms$0.056
#5Liquid AID131.5±13.261.3−29.947.2개10.63%524ms656ms$0.016
#6CloudflareClef29.1±7.752.7−23.643.6개9.010%407ms775ms$0.297
#7PerplexityDecider V1.228.8±16.650.7−21.943.2개9.42%352ms493ms$0.020
#8MicrosoftMicrosoft-Decision-126.8±6.162.0−35.240.2개7.89%636ms1.5s$0.037
#9Liquid AID1 Ultra26.5±8.765.2−38.739.8개7.42%535ms1.0s$0.034
#10Nace AIDrex v2.024.5±8.738.9−14.436.8개7.02%821ms1.1s$0.055
#11Nace AIDrex Max23.3±8.739.5−16.135.0개6.63%723ms1.4s$0.059
#12RespanSpan-0223.2±6.440.5−17.334.8개5.67%660ms1.2s$0.0088
#13PerplexityDecider Flash V1.220.1±4.925.2−5.130.2개1.85%265ms437ms$0.0097
#14Nace AIDrex v1.518.3±7.632.3−14.027.4개3.02%822ms1.2s$0.036
#15ScaleDownClassify-117.7±6.242.8−25.126.6개3.04%798ms1.6s$0.142
#16Jared PalmerKev 4B14.4±3.019.7−5.321.6개0.214%845ms1.3s$0.038
#17CloudflareClef Flash14.1±3.017.2−3.121.2개0.852%499ms1.1s$0.110
#18AlibabaDecision Model Preview13.2±0.914.8−1.619.8개0.238%690ms1.1s일시 무료
#19CloudflareClef Omni12.3±4.313.6−1.318.4개0.247%250ms510ms$0.185
#20InceptionMercury Decide10.9±1.137.3−26.416.4개0.43%380ms653ms일시 무료
#21UpstageSolar Decide Flash9.3±1.39.6−0.314.0개0.07%557ms998ms$0.026
—UpstageSolar Decide측정 불가 *————————

* Solar Decide: 한 질문에 받을 수 있는 보기 수 상한과 응답 시간 초과로 질문의 절반 넘게 답하지 못해 측정하지 못했습니다.

측정하지 못한 AI 모델의 종합 점수는 측정한 게임만으로 산출했습니다.

점수는 쌓은 블록 수로 계산합니다. 줄 지우기는 오래 버티기 위한 수단이라 점수에 별도로 반영하지 않습니다(쌓은 블록과 거의 비례). 떨어지는 속도는 블록의 개수와 비례하므로 전체 시간이 아니라 떨어진 블록 수가 이 게임의 측정 지표입니다.

쌓은 블록 개수

모델
  • 실시간
  • 시간이 충분할 때
  • GPT-6 Luna Decisions
  • Jev 1.13
  • Perplexity Decider v1.1 27B
  • Jev 1.14
  • D1
  • Clef
  • Decider V1.2
  • Microsoft-Decision-1
  • D1 Ultra
  • Drex v2.0
  • Drex Max
  • Span-02
  • Decider Flash V1.2
  • Drex v1.5
  • Classify-1
  • Kev 4B
  • Clef Flash
  • Decision Model Preview
  • Clef Omni
  • Mercury Decide
  • Solar Decide Flash

시간이 충분해도 그래프가 짧으면 판단에서, 실시간에서만 그래프가 짧으면 속도에서 뒤처진 것입니다.

영상으로 보기

영상은 같은 날 측정한 게임 한 번을 2배속으로 보여 줍니다. 위 순위는 5회 평균이라 영상 결과와 다를 수 있습니다.

핑퐁

8회 측정 평균

AI 모델이 아래쪽 패들을 맡아 위쪽 기준 봇과 5점 선승으로 겨룹니다. 공이 날아오면 받아칠 각도를 5개 중에서 고르고, 답이 와야 패들이 움직입니다. 보기마다 공이 상대 쪽 어디에 떨어지는지, 공이 닿는 시간과 상대 패들이 그 자리까지 가는 시간을 함께 알려 줍니다. 공은 주고받을수록 빨라집니다.

  1. 🥇PerplexityDecider V1.261.4±34.3
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −38.6
    봇 단계별
    10‑0 · 10‑1 · 7‑8 · 1‑10
    최선 각도
    68%
    응답 중앙값
    370ms
    느린 5%
    714ms
    1천 회 비용
    $0.0092
  2. 🥈OpenAIGPT-6 Luna Decisions61.4±34.3
    시간이 충분할 때
    94.3
    느려서 잃은 점수
    −33.0
    봇 단계별
    10‑1 · 10‑0 · 6‑8 · 2‑10
    최선 각도
    58%
    응답 중앙값
    230ms
    느린 5%
    493ms
    1천 회 비용
    $0.044
  3. 🥉PerplexityPerplexity Decider v1.1 27B56.8±40.2
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −43.2
    봇 단계별
    10‑0 · 10‑1 · 5‑7 · 0‑10
    최선 각도
    69%
    응답 중앙값
    367ms
    느린 5%
    623ms
    1천 회 비용
    $0.0092
  4. #4PerplexityDecider Flash V1.252.1±39.7
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −47.9
    봇 단계별
    10‑0 · 10‑1 · 1‑10 · 1‑10
    최선 각도
    63%
    응답 중앙값
    290ms
    느린 5%
    557ms
    1천 회 비용
    $0.0046
  5. #5Liquid AID1 Ultra51.5±37.1
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −48.5
    봇 단계별
    10‑1 · 10‑1 · 3‑10 · 0‑10
    최선 각도
    66%
    응답 중앙값
    526ms
    느린 5%
    652ms
    1천 회 비용
    $0.016
  6. #6CloudflareClef49.5±25.1
    시간이 충분할 때
    97.9
    느려서 잃은 점수
    −48.4
    봇 단계별
    10‑3 · 10‑4 · 7‑10 · 1‑10
    최선 각도
    67%
    응답 중앙값
    372ms
    느린 5%
    874ms
    1천 회 비용
    $0.125
  7. #7TypeSafeJev 1.1449.4±38.9
    시간이 충분할 때
    97.9
    느려서 잃은 점수
    −48.5
    봇 단계별
    10‑0 · 10‑2 · 2‑10 · 0‑10
    최선 각도
    45%
    응답 중앙값
    392ms
    느린 5%
    497ms
    1천 회 비용
    $0.030
  8. #8TypeSafeJev 1.1348.5±37.1
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −51.5
    봇 단계별
    10‑1 · 10‑2 · 2‑10 · 0‑10
    최선 각도
    56%
    응답 중앙값
    400ms
    느린 5%
    541ms
    1천 회 비용
    $0.030
  9. #9CloudflareClef Flash47.9±39.7
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −52.1
    봇 단계별
    10‑2 · 10‑0 · 1‑10 · 0‑10
    최선 각도
    60%
    응답 중앙값
    293ms
    느린 5%
    895ms
    1천 회 비용
    $0.047
  10. #10CloudflareClef Omni46.4±38.8
    시간이 충분할 때
    84.5
    느려서 잃은 점수
    −38.1
    봇 단계별
    10‑0 · 10‑3 · 1‑10 · 0‑10
    최선 각도
    32%
    응답 중앙값
    186ms
    느린 5%
    575ms
    1천 회 비용
    $0.078
  11. #11Liquid AID143.1±32.1
    시간이 충분할 때
    97.9
    느려서 잃은 점수
    −54.9
    봇 단계별
    10‑1 · 9‑7 · 3‑10 · 0‑10
    최선 각도
    46%
    응답 중앙값
    521ms
    느린 5%
    725ms
    1천 회 비용
    $0.0077
  12. #12AlibabaDecision Model Preview29.6±29.2
    시간이 충분할 때
    84.5
    느려서 잃은 점수
    −54.9
    봇 단계별
    10‑4 · 7‑8 · 0‑10 · 0‑10
    최선 각도
    31%
    응답 중앙값
    667ms
    느린 5%
    1.2s
    1천 회 비용
    일시 무료
  13. #13MicrosoftMicrosoft-Decision-126.6±28.3
    시간이 충분할 때
    91.7
    느려서 잃은 점수
    −65.1
    봇 단계별
    10‑4 · 4‑10 · 0‑10 · 0‑10
    최선 각도
    36%
    응답 중앙값
    664ms
    느린 5%
    1.5s
    1천 회 비용
    $0.016
  14. #14Nace AIDrex v1.524.1±25.3
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −75.9
    봇 단계별
    10‑5 · 4‑10 · 0‑10 · 0‑10
    최선 각도
    77%
    응답 중앙값
    835ms
    느린 5%
    1.1s
    1천 회 비용
    $0.015
  15. #15Jared PalmerKev 4B21.4±24.3
    시간이 충분할 때
    100.0
    느려서 잃은 점수
    −78.6
    봇 단계별
    10‑4 · 2‑10 · 0‑10 · 0‑10
    최선 각도
    8%
    응답 중앙값
    713ms
    느린 5%
    1.3s
    1천 회 비용
    $0.016
  16. #16UpstageSolar Decide Flash21.4±25.4
    시간이 충분할 때
    89.3
    느려서 잃은 점수
    −67.9
    봇 단계별
    10‑3 · 1‑10 · 0‑10 · 0‑10
    최선 각도
    27%
    응답 중앙값
    537ms
    느린 5%
    811ms
    1천 회 비용
    $0.035
  17. #17Nace AIDrex Max20.3±22.9
    시간이 충분할 때
    95.8
    느려서 잃은 점수
    −75.5
    봇 단계별
    10‑5 · 2‑10 · 0‑10 · 0‑10
    최선 각도
    74%
    응답 중앙값
    865ms
    느린 5%
    1.3s
    1천 회 비용
    $0.028
  18. #18ScaleDownClassify-114.6±17.1
    시간이 충분할 때
    94.6
    느려서 잃은 점수
    −80.1
    봇 단계별
    8‑8 · 1‑10 · 0‑10 · 0‑10
    최선 각도
    38%
    응답 중앙값
    1.0s
    느린 5%
    2.6s
    1천 회 비용
    $0.032
  19. #19Nace AIDrex v2.010.4±17.5
    시간이 충분할 때
    51.9
    느려서 잃은 점수
    −41.4
    봇 단계별
    5‑6 · 0‑10 · 0‑10 · 0‑10
    최선 각도
    28%
    응답 중앙값
    938ms
    느린 5%
    1.6s
    1천 회 비용
    $0.022
  20. #20RespanSpan-028.9±15.0
    시간이 충분할 때
    97.9
    느려서 잃은 점수
    −89.0
    봇 단계별
    5‑7 · 0‑10 · 0‑10 · 0‑10
    최선 각도
    54%
    응답 중앙값
    1.0s
    느린 5%
    2.9s
    1천 회 비용
    $0.0046
  21. #21InceptionMercury Decide2.1±3.5
    시간이 충분할 때
    97.9
    느려서 잃은 점수
    −95.8
    봇 단계별
    1‑10 · 0‑10 · 0‑10 · 0‑10
    최선 각도
    59%
    응답 중앙값
    313ms
    느린 5%
    798ms
    1천 회 비용
    일시 무료
  22. #22UpstageSolar Decide0.0±0.0
    시간이 충분할 때
    44.8
    느려서 잃은 점수
    −44.8
    봇 단계별
    0‑10 · 0‑10 · 0‑10 · 0‑10
    최선 각도
    48%
    응답 중앙값
    9.9s
    느린 5%
    10.7s
    1천 회 비용
    $0.030
순위모델실시간 점수시간이 충분할 때느려서 잃은 점수봇 단계별최선 각도응답 중앙값느린 5%1천 회 비용
🥇PerplexityDecider V1.261.4±34.3100.0−38.610‑0 · 10‑1 · 7‑8 · 1‑1068%370ms714ms$0.0092
🥈OpenAIGPT-6 Luna Decisions61.4±34.394.3−33.010‑1 · 10‑0 · 6‑8 · 2‑1058%230ms493ms$0.044
🥉PerplexityPerplexity Decider v1.1 27B56.8±40.2100.0−43.210‑0 · 10‑1 · 5‑7 · 0‑1069%367ms623ms$0.0092
#4PerplexityDecider Flash V1.252.1±39.7100.0−47.910‑0 · 10‑1 · 1‑10 · 1‑1063%290ms557ms$0.0046
#5Liquid AID1 Ultra51.5±37.1100.0−48.510‑1 · 10‑1 · 3‑10 · 0‑1066%526ms652ms$0.016
#6CloudflareClef49.5±25.197.9−48.410‑3 · 10‑4 · 7‑10 · 1‑1067%372ms874ms$0.125
#7TypeSafeJev 1.1449.4±38.997.9−48.510‑0 · 10‑2 · 2‑10 · 0‑1045%392ms497ms$0.030
#8TypeSafeJev 1.1348.5±37.1100.0−51.510‑1 · 10‑2 · 2‑10 · 0‑1056%400ms541ms$0.030
#9CloudflareClef Flash47.9±39.7100.0−52.110‑2 · 10‑0 · 1‑10 · 0‑1060%293ms895ms$0.047
#10CloudflareClef Omni46.4±38.884.5−38.110‑0 · 10‑3 · 1‑10 · 0‑1032%186ms575ms$0.078
#11Liquid AID143.1±32.197.9−54.910‑1 · 9‑7 · 3‑10 · 0‑1046%521ms725ms$0.0077
#12AlibabaDecision Model Preview29.6±29.284.5−54.910‑4 · 7‑8 · 0‑10 · 0‑1031%667ms1.2s일시 무료
#13MicrosoftMicrosoft-Decision-126.6±28.391.7−65.110‑4 · 4‑10 · 0‑10 · 0‑1036%664ms1.5s$0.016
#14Nace AIDrex v1.524.1±25.3100.0−75.910‑5 · 4‑10 · 0‑10 · 0‑1077%835ms1.1s$0.015
#15Jared PalmerKev 4B21.4±24.3100.0−78.610‑4 · 2‑10 · 0‑10 · 0‑108%713ms1.3s$0.016
#16UpstageSolar Decide Flash21.4±25.489.3−67.910‑3 · 1‑10 · 0‑10 · 0‑1027%537ms811ms$0.035
#17Nace AIDrex Max20.3±22.995.8−75.510‑5 · 2‑10 · 0‑10 · 0‑1074%865ms1.3s$0.028
#18ScaleDownClassify-114.6±17.194.6−80.18‑8 · 1‑10 · 0‑10 · 0‑1038%1.0s2.6s$0.032
#19Nace AIDrex v2.010.4±17.551.9−41.45‑6 · 0‑10 · 0‑10 · 0‑1028%938ms1.6s$0.022
#20RespanSpan-028.9±15.097.9−89.05‑7 · 0‑10 · 0‑10 · 0‑1054%1.0s2.9s$0.0046
#21InceptionMercury Decide2.1±3.597.9−95.81‑10 · 0‑10 · 0‑10 · 0‑1059%313ms798ms일시 무료
#22UpstageSolar Decide0.0±0.044.8−44.80‑10 · 0‑10 · 0‑10 · 0‑1048%9.9s10.7s$0.030

점수는 득점 비율입니다. 기준 봇은 공이 떨어질 자리를 정확히 알지만 반응이 늦고(1단계 1초 · 2단계 0.6초 · 3단계 0.35초 · 4단계 0.2초), 3·4단계는 AI 모델 패들에서 가장 먼 쪽으로 받아칩니다. 아무도 공을 놓치지 않아 시간 상한에 걸린 경기는 무승부(50%)로 계산합니다.

득점 비율

모델
  • 실시간
  • 시간이 충분할 때
  • Decider V1.2
  • GPT-6 Luna Decisions
  • Perplexity Decider v1.1 27B
  • Decider Flash V1.2
  • D1 Ultra
  • Clef
  • Jev 1.14
  • Jev 1.13
  • Clef Flash
  • Clef Omni
  • D1
  • Decision Model Preview
  • Microsoft-Decision-1
  • Drex v1.5
  • Kev 4B
  • Solar Decide Flash
  • Drex Max
  • Classify-1
  • Drex v2.0
  • Span-02
  • Mercury Decide
  • Solar Decide

시간이 충분해도 그래프가 짧으면 판단에서, 실시간에서만 그래프가 짧으면 속도에서 뒤처진 것입니다.

영상으로 보기

영상은 같은 날 측정한 경기 하나를 4배속으로 보여 줍니다. 위 순위는 8경기 평균이라 영상 결과와 다를 수 있습니다.

인사이트

게임은 단순히 텍스트가 아니라 실시간으로 상황을 파악해서 빠른 시간 안에 반복적으로 판단하는 능력이 중요합니다. 같은 AI 모델을 텍스트 판단(DecisionBench-KJ)·시간 제한 없는 게임·실시간 게임, 세 조건에서 측정한 결과는 과연 어땠을까요?

  1. 01

    판단력은 이어지지만, 실시간이 순위를 다시 섞는다

    두 벤치마크에 모두 있는 22개 모델의 게임 순위는, 시간 제한이 없을 때는 텍스트 판단 순위(KJ)와 거의 같았지만 실시간에서는 크게 달라졌습니다. 같은 판단력이라도 제때 답하지 못하면 점수로 이어지지 않습니다.

    텍스트 판단(KJ) 순위와의 일치도
    시간 제한 없음0.73
    실시간0.36

    1에 가까울수록 같은 순서, 0이면 관계없음

    텍스트보다 크게 내려간 모델

    • Mercury DecideKJ 7위 → GAME 21위
    • Solar DecideKJ 11위 → GAME 22위

    텍스트보다 크게 올라간 모델

    • Clef OmniKJ 16위 → GAME 5위
    • Decider Flash V1.2KJ 13위 → GAME 4위
  2. 02

    가장 정확한 모델과 실시간 1위는 다르다

    2개 게임에서 시간 제한이 없을 때 1위와 실시간 1위가 다릅니다.

    뱀 게임
    시간 제한 없을 때 1위 Decider Flash V1.2 외 1개 공동97.0실시간 1위 GPT-6 Luna Decisions71.0
    테트리스
    시간 제한 없을 때 1위 Jev 1.1382.5실시간 1위 GPT-6 Luna Decisions52.1
  3. 03

    평소 속도보다 가끔 생기는 지연이 순위를 떨어뜨린다

    두더지 잡기·뱀 게임·테트리스·핑퐁에서는 평소 응답 속도보다 가끔 크게 늦는 응답(가장 느린 5%)이 순위와 더 강한 관련이 있었습니다. 대부분 빨라도 한 번 늦으면 그 순간 기회가 지나가기 때문입니다. 실시간 서비스라면 평균 속도보다 가장 늦는 응답을 확인해야 합니다.

    게임 순위와의 관련도

    두더지 잡기
    평소 응답 속도(중앙값)0.79
    가장 느린 5% 응답0.85
    뱀 게임
    평소 응답 속도(중앙값)0.59
    가장 느린 5% 응답0.63
    테트리스
    평소 응답 속도(중앙값)0.30
    가장 느린 5% 응답0.39
    핑퐁
    평소 응답 속도(중앙값)0.72
    가장 느린 5% 응답0.79

    모든 게임을 합쳐 보면 응답이 빠를수록 종합 점수가 높았습니다.

  4. 04

    게임마다 순위를 가르는 것이 다르다

    모든 게임에 판단과 속도가 다 필요하지만, 모델 사이의 순위 차이를 만드는 쪽은 게임마다 다릅니다. 시간 제한이 없어도 점수 차가 큰 게임은 판단력 차이가 실시간 순위까지 이어지고, 시간 제한이 없으면 대부분 점수가 높은 게임은 판단력으로는 차이가 나지 않아 응답 속도가 순위를 가릅니다.

    시간 제한 없을 때 순위와 실시간 순위의 일치도

    두더지 잡기 · 속도가 가름0.21시간 제한 없을 때 중앙값 100.0점 · 90점 이상 20/22개
    뱀 게임 · 속도가 가름0.19시간 제한 없을 때 중앙값 89.8점 · 90점 이상 11/22개
    테트리스 · 판단력이 가름0.92시간 제한 없을 때 중앙값 40.5점 · 90점 이상 0/21개
    핑퐁 · 속도가 가름0.50시간 제한 없을 때 중앙값 97.9점 · 90점 이상 17/22개
  5. 05

    시간 제한이 없으면 대부분 잘한다

    22개 모델의 점수 중앙값은 시간 제한이 없을 때 82.1점, 실시간에서 36.0점입니다.

    시간 제한 없음(중앙값)82.1
    실시간(중앙값)36.0

    두더지 잡기는 시간 제한이 없으면 22개 중 20개가 95점 이상이라 거의 차이가 나지 않습니다.

  6. 06

    비싸다고 잘하는 것은 아니다

    판단 1천 회 비용은 전체 평균 $0.024입니다. 가장 비싼 Clef($0.113, 8위)보다 순위가 높은 Decider Flash V1.2($0.0032, 4위)의 비용은 35분의 1입니다.

    판단 1천 회 비용
    Clef · 8위$0.113
    Decider Flash V1.2 · 4위$0.0032

    비용이 높다고 실시간 점수가 높아지는 경향은 약합니다.

응답 속도와 종합 점수

오른쪽 위에 있을수록 빠르고 점수가 높습니다. 가로축은 게임별 응답 중앙값의 평균(로그 눈금)입니다.

020406080150ms200ms300ms400ms500ms700ms1s← 느림응답 중앙값빠름 →종합 점수GPT-6 Luna DecisionsJev 1.13Decider V1.2Decider Flash V1.2Clef OmniJev 1.14Perplexity Decider v1.1 27BClefD1Clef FlashD1 UltraDrex MaxDrex v1.5Classify-1Microsoft-Decision-1Decision Model PreviewDrex v2.0Solar Decide FlashKev 4BSpan-02Mercury DecideSolar Decide · 5.8s

측정 방법

게임별 측정 횟수
10 · 5 · 5 · 8
측정 기간
10월 12일~24일
측정 비용
$1.922
판단 1천 회 비용
$0.024

게임 한 번이 진행되는 과정

  1. 1

    같은 조건

    두더지가 뜨는 시각·칸, 처음 과일 자리, 테트리스 블록 순서를 시작값으로 미리 정합니다. 모든 AI 모델이 같은 시작값으로 출발하고, 뱀 게임의 다음 과일 자리만 뱀의 움직임에 따라 달라집니다.

  2. 2

    기다려 주지 않는 시계

    질문은 한 번에 하나만 보내고, 답은 도착한 순간의 게임 상황에 적용됩니다. 그사이 두더지는 들어가고, 뱀은 몇 칸 더 움직이고, 테트리스 블록은 더 떨어집니다. 답이 늦을수록 그만큼 점수에서 불리해집니다.

  3. 3

    시간이 충분할 때

    같은 게임을 이번에는 AI 모델이 판단하는 동안 게임 시계를 멈추고 다시 진행합니다. 속도와 관계없이 판단만 반영한 점수가 산출되며, 실시간 점수와의 차이가 느려서 잃은 점수입니다.

  4. 4

    평균과 구간

    게임마다 점수를 0~100으로 맞추고 여러 번 측정한 평균과 95% 구간을 산출합니다. 종합 점수는 게임 점수들의 평균입니다. 이번 측정은 AI 모델마다 모두 28회 플레이했습니다.

자세한 내용

AI 모델에게 보내는 질문 — 두더지 잡기게임 상태와 질문 원문 (영어)

선택할 수 있는 칸만 이모지로 보내고, 보기 순서는 매번 섞습니다. 그림이 아니라 글자로 보내므로 동물 구별은 쉽고, 이 게임은 주로 응답 속도를 측정합니다.

{
  "state": {
    "game": "Whack-a-mole",
    "rule": "Hitting 🐭 scores +2. Hitting 🐰 or 🐹 scores -1. Hitting nothing scores 0.",
    "holes": { "hole 2": "🐭", "hole 6": "🐹" }
  },
  "question": {
    "type": "choice",
    "instructions": "Which hole should be hit right now? Pick the hole showing 🐭. If no hole shows 🐭, pick 'hit nothing'.",
    "criteria": { "hole6": "hole 6", "none": "hit nothing", "hole2": "hole 2" }
  }
}
AI 모델에게 보내는 질문 — 뱀 게임게임 상태와 질문 원문 (영어)

뱀 머리 기준으로 왼쪽·앞·오른쪽 칸에 무엇이 있는지, 막히기 전까지 빈 칸 수, 가장 가까운 🍎의 방향을 보냅니다. 보기 순서는 매번 섞습니다.

{
  "state": {
    "game": "Snake",
    "rule": "Eating 🍎 scores +1. Eating 🍅 or 🍓 scores -1. Moving into a wall or your own body ends the game.",
    "nextCell": { "left": "empty", "straight": "empty", "right": "your body (game over)" },
    "freeCellsBeforeObstacle": { "left": 6, "straight": 2, "right": 0 },
    "nearestApple": "3 ahead, 2 to the left",
    "length": 5
  },
  "question": {
    "type": "choice",
    "instructions": "Which way should the snake move next? Never move into a wall or your body, and turn early when few free cells are left ahead. Head toward 🍎 and avoid 🍅 and 🍓.",
    "criteria": { "right": "turn right", "left": "turn left", "straight": "go straight" }
  }
}
AI 모델에게 보내는 질문 — 테트리스게임 상태와 질문 원문 (영어)

지금 블록이 갈 수 있는 자리만 보기로 보내고, 보기마다 놓았을 때 바로 생기는 결과(지워지는 줄·새 구멍·쌓인 높이)를 함께 적습니다. 다음 블록이 무엇인지는 알려 주지만, 다음 블록까지 놓아 본 계산은 포함하지 않습니다. 보기 순서는 매번 섞습니다.

{
  "state": {
    "game": "Tetris",
    "rule": "Place each falling piece. Completed rows disappear. The game ends when the stack reaches the top (20 rows). A hole is an empty cell with a block above it.",
    "piece": "T",
    "nextPiece": "I",
    "columnHeights": [3, 3, 2, 4, 4, 1, 0, 2, 2, 1],
    "holes": 1
  },
  "question": {
    "type": "choice",
    "instructions": "Where should this piece go? Clear lines when you can, avoid creating new holes, and keep the stack low.",
    "criteria": {
      "r90c7": "rotate 90° at columns 7-8 → clears 0 lines, 0 new holes, stack height 4",
      "r0c1": "rotate 0° at columns 1-3 → clears 0 lines, 1 new hole, stack height 5",
      "r180c6": "rotate 180° at columns 6-8 → clears 1 line, 0 new holes, stack height 3",
      "…": "… (every reachable spot, up to 34)"
    }
  }
}
AI 모델에게 보내는 질문 — 핑퐁게임 상태와 질문 원문 (영어)

공이 내 쪽 어디에 오는지는 알려 주고, 받아칠 각도 5개를 보기로 보냅니다. 보기마다 상대 쪽에 떨어지는 자리, 상대 패들과의 거리, 공이 닿는 시간과 상대 패들이 가는 시간을 함께 적습니다. 곧게 친 공이 가장 빠르고 각이 클수록 느립니다. 상대의 반응 지연은 알려 주지 않습니다.

{
  "state": {
    "game": "Pong",
    "rule": "You are the paddle at the bottom; the opponent is at the top. The court is 100 wide and 150 long; the ball bounces off the side walls. Your answer moves your paddle to the ball and hits it back at the angle you pick. If the opponent cannot reach the ball in time, you score. The opponent reacts with some delay.",
    "ballArrives": "62 of 100 on your end",
    "yourPaddle": "48 of 100",
    "opponentPaddle": "30 of 100",
    "opponentPaddleSpeed": "150 per second",
    "rally": 3
  },
  "question": {
    "type": "choice",
    "instructions": "Pick the return angle the opponent is least likely to reach in time.",
    "criteria": {
      "sharp-left": "sharp angle left: lands at 61, 31 away from the opponent; the ball needs 1.68s, the opponent paddle needs 0.13s to get there",
      "left": "angle left: lands at 2, 28 away from the opponent; the ball needs 1.50s, the opponent paddle needs 0.11s to get there",
      "straight": "straight: lands at 62, 32 away from the opponent; the ball needs 1.24s, the opponent paddle needs 0.14s to get there",
      "right": "angle right: lands at 75, 45 away from the opponent; the ball needs 1.50s, the opponent paddle needs 0.22s to get there",
      "sharp-right": "sharp angle right: lands at 15, 15 away from the opponent; the ball needs 1.68s, the opponent paddle needs 0.02s to get there"
    }
  }
}
모델과 응답 버전측정 때 공급사가 반환한 모델 이름
모델모델과 응답 버전
OpenAIGPT-6 Luna Decisionsgpt-6-luna
TypeSafeJev 1.13typesafe/jev-1.13-20260917
PerplexityDecider V1.2pplx-decider-v1.2
PerplexityDecider Flash V1.2pplx-decider-flash-v1.2
CloudflareClef Omniclef-omni
TypeSafeJev 1.14typesafe/jev-1.14-20261014
PerplexityPerplexity Decider v1.1 27Bpplx-decider-v1.1-27b
CloudflareClefclef
Liquid AID1liquid/d1-20260930
CloudflareClef Flashclef-flash
Liquid AID1 Ultraliquid/d1-ultra-20261015
Nace AIDrex Maxnace-ai/drex-max-20261016
Nace AIDrex v1.5nace-ai/drex-v1.5-20261009
ScaleDownClassify-1scaledown/classify-1-20260928
MicrosoftMicrosoft-Decision-1microsoft/microsoft-decision-1-20261009
AlibabaDecision Model Previewdecision-model-preview
Nace AIDrex v2.0nace-ai/drex-v2.0-20261009
UpstageSolar Decide Flashupstage/solar-decide-flash-20261008
Jared PalmerKev 4Bjaredpalmer/kev-4b-20260924
RespanSpan-02respan/span-02-20261015
InceptionMercury Decideinception/mercury-decide-20260930
UpstageSolar Decideupstage/solar-decide-20260928
알아둘 점측정 조건
  • 응답 시간은 서울에서 공급사까지 왕복하는 시간을 포함합니다. 사용자가 실제로 겪는 시간과 같은 기준입니다.
  • 분당 호출 횟수에 제한이 있는 AI 모델은 그 제한 간격 안에서만 질문했습니다.
  • 한 번의 판단은 12초까지 기다리고, 넘으면 오류로 기록합니다.
  • 뱀 게임은 판단형 AI에 맞춰 사이트 게임보다 느리게 움직입니다(1초에 한 칸 → 0.25초에 한 칸). 사람 속도에서는 모든 AI 모델이 몇 초 안에 부딪혔습니다.
  • 테트리스의 떨어지는 속도는 시간이 아니라 블록 번호로 정합니다. 빠른 AI 모델이 블록을 더 많이 받지 않고, 같은 블록은 누구에게나 같은 속도입니다.
  • 핑퐁은 모든 AI 모델이 같은 기준 봇 4단계와 겨룹니다. AI 모델끼리 겨루지 않으므로 모델이 늘어도 모델마다 경기 수가 같고, 기존 점수가 바뀌지 않습니다.
  • 공급사마다 한 질문에 받을 수 있는 보기 수에 상한이 있습니다(10개·26개 등). 테트리스는 최대 34개라, 상한이 더 작은 AI 모델은 질문을 바꾸지 않고 측정 불가로 표기했습니다.
  • 게임마다 나누어 2026년 10월 12일~24일에 측정했습니다. 함께 측정한 AI 모델들은 같은 순간에 출발했고, 나중에 추가한 모델은 같은 시작값·조건으로 별도로 측정했습니다. 측정한 날이 다르면 공급사 응답 속도가 달랐을 수 있습니다.
  • Perplexity Decider v1 27B은 다른 측정에서 Perplexity Decider v1.1 27B와 모든 문항에 같은 답을 반환해 같은 모델로 보고 순위에서 제외했습니다. 이 모델에 사용한 호출·비용은 측정 총계에 포함되어 있습니다.

자주 묻는 질문

Q.AIB DecisionBench-Game은 무엇을 측정하나요?

A.판단형 AI가 시간 제한이 있는 일에서 얼마나 제때, 정확하게, 저렴하게 판단하는지를 측정합니다. 같은 실시간 게임을 모든 AI 모델이 같은 조건으로 진행하고, 실시간 점수·시간이 충분할 때 점수·응답 시간·비용을 각각 보여 줍니다.

Q.정답률 벤치마크와 무엇이 다른가요?

A.정답률 벤치마크는 답이 늦어도 맞으면 점수를 인정합니다. 이 벤치마크는 답이 늦으면 그사이 게임 상황이 바뀌어 점수를 잃습니다. 이번 측정에서 두더지 잡기는 시간이 충분할 때 18종이 만점이었지만, 실시간 종합 점수는 6.2점에서 69.5점까지 갈렸습니다.

Q.1위 AI 모델은 무엇인가요?

A.2026년 10월 12일~24일 측정 기준 종합 1위는 GPT-6 Luna Decisions(69.5점, 응답 중앙값 234ms)입니다. 응답이 가장 빠른 AI 모델은 Clef Omni(184ms)입니다.

Q.뱀 게임 점수는 어떻게 계산하나요?

A.100 × (0.7 × 생존 시간 ÷ 60초 + 0.3 × 사과 점수 ÷ 20)입니다. 뱀 게임의 목표는 오래 살아남기라 생존 시간에 70%를 주고, 사과는 20점을 상한으로 30%만 반영합니다. 60초를 모두 살아남고 사과 20점을 얻으면 100점입니다.

Q.왜 이미지가 아니라 텍스트로 제시하나요?

A.측정 대상 대부분이 텍스트만 입력받는 AI 모델이라 모두가 같은 조건에서 겨루도록 게임 화면을 글자로 보냅니다. 그래서 지금 게임은 모두 시각적 구별보다 속도와 상황 판단을 주로 측정합니다.

Q.영상 결과와 순위가 다른 이유는?

A.영상은 게임 한 번의 기록이고, 순위표는 여러 번 측정한 결과의 평균입니다. 한 번의 게임에서는 운이 크게 작용하므로 AI 모델을 고를 때는 순위표를 보세요.

Q.테트리스 점수는 어떻게 계산하나요?

A.100 × 쌓은 블록 ÷ 150입니다. 테트리스의 목표는 오래 버티기입니다. 떨어지는 속도는 블록 개수와 비례하므로 전체 시간이 아니라 떨어진 블록 수가 이 게임의 측정 지표입니다. 지운 줄은 쌓은 블록과 거의 비례해서 점수에 별도로 반영하지 않습니다. 150개를 모두 쌓으면 100점입니다.

Q.핑퐁 점수는 어떻게 계산하나요?

A.기준 봇 4단계와 2번씩 겨룬 8경기에서 득점 비율을 평균합니다. 봇은 공이 떨어질 자리를 정확히 알지만 반응이 늦으며, 단계가 오를수록 더 빨리 반응합니다(패들이 움직이는 속도는 모든 단계가 같고, 3·4단계는 AI 모델 패들에서 먼 쪽으로 받아칩니다). 아무도 공을 놓치지 않아 시간 상한에 걸린 경기는 무승부(50%)로 계산합니다.

측정해 보고 싶은 판단형 AI가 있나요?

게임 벤치마크에 추가하고 싶은 판단형 AI가 있다면 알려 주세요. 검토 후 다음 측정에 반영하겠습니다.

평가 요청하기

버전 정보

  1. game-0.5 · 2026-10-24핑퐁 질문 계산 수정(상대 패들이 받는 범위 반영) — 핑퐁은 전체 모델을 다시 측정. 나머지 게임 점수는 그대로.
  2. game-0.4 · 2026-10-15핑퐁 추가 — 4종. 두더지 잡기는 같은 날 다시 측정.
  3. game-0.3 · 2026-10-14테트리스 추가 — 3종. 종합 점수는 측정한 게임 점수의 평균.
  4. game-0.2 · 2026-10-12뱀 게임 추가 — 2종. 종합 점수는 게임 점수의 평균.
  5. game-0.1 · 2026-10-12첫 버전 — 두더지 잡기 1종.

인용하기

이 결과를 인용할 때는 벤치마크 버전과 출처를 함께 적어 주세요.

AIB DecisionBench-Game game-0.5 (2026-10-12~2026-10-24). AIB Inc. https://www.aib.vote/benchmarks/decisionbench-game

카톡 문의