OpenAI는 2026년 5월 12일, 8주간 진행된 Parameter Golf 연구 챌린지를 성공적으로 마쳤다. 이번 대회에는 1,000명이 넘는 참가자가 2,000건 이상의 결과물을 제출했다. 참가자들은 FineWeb 데이터셋에서 보류 손실(held-out loss)을 최소화하면서, 16 MB라는 엄격한 아티팩트 용량 제한과 8xH100 GPU 기준 10분 이내의 학습 시간이라는 도전적인 조건을 충족해야 했다. 이를 위해 옵티마이저 튜닝, 양자화, 테스트 타임 트레이닝 등 다양한 기술적 접근 방식이 동원되었다.

주요 성공 사례로는 Muon 가중치 감쇠를 구현한 60번 제출안과, 최초로 GPTQ-lite를 활용한 가중치 양자화를 선보인 414번 제출안이 꼽힌다. 기록 부문 외에서도 최고 성적은 1.12 BPB(bits per byte)를 기록하며, 기존의 단순 베이스라인이었던 1.22 BPB를 뛰어넘었다. 특히 이번 대회에서는 AI 코딩 에이전트가 실험 장벽을 낮추고 대회 속도를 크게 높이는 역할을 했다. 밀려드는 제출물을 효율적으로 처리하기 위해 OpenAI는 Codex 기반의 자동 심사 봇을 투입하기도 했다.

이번 챌린지는 인재 발굴의 장으로서도 큰 성과를 거두었으며, OpenAI는 향후 유사한 형태의 연구 이니셔티브를 지속적으로 고려하고 있다. 참가자들은 XSA(Exclusive Self Attention) 및 문서별 LoRA 테스트 타임 트레이닝과 같은 다양한 기법을 선보이며 폭넓은 기술적 역량을 입증했다.

OpenAI는 2026년 5월 12일, 8주간 진행된 Parameter Golf 연구 챌린지를 성공적으로 마쳤다. 이번 대회에는 1,000명이 넘는 참가자가 2,000건 이상의 결과물을 제출했다. 참가자들은 FineWeb 데이터셋에서 보류 손실(held-out loss)을 최소화하면서, 16 MB라는 엄격한 아티팩트 용량 제한과 8xH100 GPU 기준 10분 이내의 학습 시간이라는 도전적인 조건을 충족해야 했다. 이를 위해 옵티마이저 튜닝, 양자화, 테스트 타임 트레이닝 등 다양한 기술적 접근 방식이 동원되었다.

주요 성공 사례로는 Muon 가중치 감쇠를 구현한 60번 제출안과, 최초로 GPTQ-lite를 활용한 가중치 양자화를 선보인 414번 제출안이 꼽힌다. 기록 부문 외에서도 최고 성적은 1.12 BPB(bits per byte)를 기록하며, 기존의 단순 베이스라인이었던 1.22 BPB를 뛰어넘었다. 특히 이번 대회에서는 AI 코딩 에이전트가 실험 장벽을 낮추고 대회 속도를 크게 높이는 역할을 했다. 밀려드는 제출물을 효율적으로 처리하기 위해 OpenAI는 Codex 기반의 자동 심사 봇을 투입하기도 했다.

이번 챌린지는 인재 발굴의 장으로서도 큰 성과를 거두었으며, OpenAI는 향후 유사한 형태의 연구 이니셔티브를 지속적으로 고려하고 있다. 참가자들은 XSA(Exclusive Self Attention) 및 문서별 LoRA 테스트 타임 트레이닝과 같은 다양한 기법을 선보이며 폭넓은 기술적 역량을 입증했다.