StepFun의 연구원인 후징청(Jingcheng Hu)과 그의 연구팀은 인공지능의 추론 방식을 기존의 순차적 사슬 방식에서 대규모 병렬 탐색으로 전환하는 '병렬 조정 추론(PaCoRe)' 프레임워크를 새롭게 선보였다. 현재 대규모 언어 모델들은 순차적 추론 과정에서 발생하는 문맥 창(Context Window)의 한계로 인해 성능의 천장에 부딪히는 경우가 빈번하다. 이에 따라 PaCoRe는 수많은 병렬 추론 경로를 동시에 가동하고 메시지 전달 아키텍처를 적용함으로써 이러한 병목 현상을 우회하는 혁신적인 접근법을 취했다.

이 시스템은 각 추론 경로에서 얻은 발견을 요약된 메시지 형태로 압축하여 후속 탐색을 유도하며, 메모리 제약을 초과하지 않으면서도 테스트 시점 연산(TTC)을 대폭 확장한다. 실제로 연구팀은 복잡한 문제 해결에 있어 추론의 깊이보다 탐색의 너비가 더 결정적인 영향을 미칠 수 있음을 실험적으로 증명했다. 특히 유효 TTC를 약 200만 토큰 수준까지 확장한 결과, 80억 개의 매개변수를 가진 PaCoRe-8B 모델은 HMMT 2025 수학 경시대회 데이터셋에서 94.5%의 정확도를 기록했다. 이는 오픈에이아이(OpenAI)의 최신 모델인 GPT-5가 기록한 93.2%를 앞지르는 놀라운 성과로 평가받는다.

한편 StepFun은 기술적 투명성을 높이고 커뮤니티 발전에 기여하기 위해 PaCoRe-8B 모델의 가중치와 전용 학습 데이터셋, 그리고 전체 추론 파이프라인 코드를 깃허브에 MIT 라이선스로 공개했다. 이번 공개는 소규모 모델에서도 거대 모델에 필적하는 고도의 추론 성능을 구현할 수 있는 실질적인 방법론을 제시했다는 점에서 의미가 크다. 또한 머신러닝의 강화 학습 패러다임을 추론 확장 기술과 결합하여, 모델 평가 시 투입되는 연산 자원을 최적화함으로써 결과물의 품질을 극대화했다. 이에 따라 향후 AI 연구 생태계에서 효율적인 연산 자원 배분과 병렬 추론 기술의 중요성은 더욱 커질 것으로 전망된다.

StepFun의 연구원인 후징청(Jingcheng Hu)과 그의 연구팀은 인공지능의 추론 방식을 기존의 순차적 사슬 방식에서 대규모 병렬 탐색으로 전환하는 '병렬 조정 추론(PaCoRe)' 프레임워크를 새롭게 선보였다. 현재 대규모 언어 모델들은 순차적 추론 과정에서 발생하는 문맥 창(Context Window)의 한계로 인해 성능의 천장에 부딪히는 경우가 빈번하다. 이에 따라 PaCoRe는 수많은 병렬 추론 경로를 동시에 가동하고 메시지 전달 아키텍처를 적용함으로써 이러한 병목 현상을 우회하는 혁신적인 접근법을 취했다.

이 시스템은 각 추론 경로에서 얻은 발견을 요약된 메시지 형태로 압축하여 후속 탐색을 유도하며, 메모리 제약을 초과하지 않으면서도 테스트 시점 연산(TTC)을 대폭 확장한다. 실제로 연구팀은 복잡한 문제 해결에 있어 추론의 깊이보다 탐색의 너비가 더 결정적인 영향을 미칠 수 있음을 실험적으로 증명했다. 특히 유효 TTC를 약 200만 토큰 수준까지 확장한 결과, 80억 개의 매개변수를 가진 PaCoRe-8B 모델은 HMMT 2025 수학 경시대회 데이터셋에서 94.5%의 정확도를 기록했다. 이는 오픈에이아이(OpenAI)의 최신 모델인 GPT-5가 기록한 93.2%를 앞지르는 놀라운 성과로 평가받는다.

한편 StepFun은 기술적 투명성을 높이고 커뮤니티 발전에 기여하기 위해 PaCoRe-8B 모델의 가중치와 전용 학습 데이터셋, 그리고 전체 추론 파이프라인 코드를 깃허브에 MIT 라이선스로 공개했다. 이번 공개는 소규모 모델에서도 거대 모델에 필적하는 고도의 추론 성능을 구현할 수 있는 실질적인 방법론을 제시했다는 점에서 의미가 크다. 또한 머신러닝의 강화 학습 패러다임을 추론 확장 기술과 결합하여, 모델 평가 시 투입되는 연산 자원을 최적화함으로써 결과물의 품질을 극대화했다. 이에 따라 향후 AI 연구 생태계에서 효율적인 연산 자원 배분과 병렬 추론 기술의 중요성은 더욱 커질 것으로 전망된다.