ThinkingBox, 데이터베이스 검사로 강화학습 보상 설계

Microsoft와 Hugging Face는 ThinkingBox-Training이 ThinkingBox-Bench 외부 과제에서 최종 데이터베이스 상태를 실행 가능한 검사로 확인해 보상으로 삼고 Qwen3.8-27B를 미세 조정했다고 밝혔습니다. GRPO 50단계 뒤 벤치마크 시도 10,140회에서 평균 성공률은 51.70%에서 60.78%로 올랐고, 20회 모두 통과한 과제는 38개(7.50%)에서 107개(21.10%)로 늘었습니다. 한 번 이상 해결한 과제는 453개(89.35%)에서 446개(87.97%)로 줄었습니다.

ThinkingBox-Bench는 507개 과제로 구성됩니다. 각 과제에서 에이전트는 실제 백엔드와 도구를 사용하고, 이후 데이터베이스 기록으로 결과를 검사받습니다. 연구팀은 오프라인 정책 상대 난이도를 기준으로 학습 과제를 골랐습니다. 먼저 기본 모델로 각 후보 과제를 시험한 뒤, 모델이 때때로 해결하는 과제만 고정된 과제 풀에 남기고 늘 실패하거나 항상 통과하는 과제는 제외했습니다. 벤치마크 자체는 학습에 쓰이지 않았습니다. 두 과제 집합은 ThinkingBox 프레임워크, 시뮬레이션 사용자, 실행 가능한 채점 방식, 일부 도구와 유사한 과제 형식을 공유했지만, 벤치마크의 분야와 데이터베이스, 대부분의 도구는 학습 과제 풀에 없었습니다.

호텔 예약 과제 한 건에서 기본 모델은 20회 시도 중 15회에 관리자 승인을 받지 않은 채 예약을 변경하고 환불을 처리했습니다. 미세 조정 뒤에는 20회 모두 예약과 결제 상태를 유지했고, 기대된 기록은 19회에서 모두 일치했습니다. 벤치마크의 5개 분야 모두에서 pass@1과 관찰된 20회 전부 통과 비율이 올랐습니다. 반면 pass@20은 인터넷 전문은행과 컨설팅 분야에서 증가하고 소매, 여행, 자동차 보험 분야에서는 하락했습니다. 자동차 보험은 pass@20이 7.0포인트로 가장 크게 떨어졌고, 소매는 관찰된 20회 전부 통과 비율이 24.5포인트로 가장 크게 올랐습니다.

기준 실험에서 연구팀은 187개 과제로 학습했습니다. 각 업데이트는 8개 롤아웃으로 이뤄진 그룹 18개, 즉 에피소드 144개를 H100 GPU 24개에서 생성했습니다. 학습은 토큰 평균 GRPO, 학습률 1e-6, 가중치 감쇠 0으로 50단계 진행됐습니다. 에피소드마다 새 백엔드와 격리된 MCP 세션을 사용했고, 시뮬레이션 사용자 역할은 GPT-5 Chat이 맡았습니다. 보상의 대부분은 결정론적 데이터베이스 검사에서 나왔으며, 범위가 좁은 일부 기준은 GPT-5 Chat을 판정자로 쓸 수 있었습니다. 백엔드 시간 초과는 시스템 오류로 처리해 실패 점수를 매기는 대신 해당 그룹을 다시 채웠습니다.

507개 과제를 각각 20회 실행하는 평가 캠페인의 추정 비용은 925.80달러에서 855.58달러로 7.6% 줄었습니다. 성공한 시도당 비용은 0.177달러에서 0.139달러로 21.4% 낮아졌고, 20회 모두 통과한 과제의 추정 비용은 과제당 24.36달러에서 8.00달러로 67.2% 감소했습니다. 연구팀은 이 금액이 청구서나 클라우드 요금이 아니라 모델 추론 비용을 포함하고 학습 및 정책 탐색 비용은 제외한 비교용 서빙 지표라고 설명했습니다. 연구팀에 따르면 미세 조정 모델의 신뢰할 수 있는 과제당 비용은 8.00달러로, GPT-5.4는 6.80달러, GPT-6 Astra는 7.45달러, Claude Opus 5.5는 7.80달러였습니다.

Microsoft와 Hugging Face는 ThinkingBox-Training이 ThinkingBox-Bench 외부 과제에서 최종 데이터베이스 상태를 실행 가능한 검사로 확인해 보상으로 삼고 Qwen3.8-27B를 미세 조정했다고 밝혔습니다. GRPO 50단계 뒤 벤치마크 시도 10,140회에서 평균 성공률은 51.70%에서 60.78%로 올랐고, 20회 모두 통과한 과제는 38개(7.50%)에서 107개(21.10%)로 늘었습니다. 한 번 이상 해결한 과제는 453개(89.35%)에서 446개(87.97%)로 줄었습니다.

ThinkingBox-Bench는 507개 과제로 구성됩니다. 각 과제에서 에이전트는 실제 백엔드와 도구를 사용하고, 이후 데이터베이스 기록으로 결과를 검사받습니다. 연구팀은 오프라인 정책 상대 난이도를 기준으로 학습 과제를 골랐습니다. 먼저 기본 모델로 각 후보 과제를 시험한 뒤, 모델이 때때로 해결하는 과제만 고정된 과제 풀에 남기고 늘 실패하거나 항상 통과하는 과제는 제외했습니다. 벤치마크 자체는 학습에 쓰이지 않았습니다. 두 과제 집합은 ThinkingBox 프레임워크, 시뮬레이션 사용자, 실행 가능한 채점 방식, 일부 도구와 유사한 과제 형식을 공유했지만, 벤치마크의 분야와 데이터베이스, 대부분의 도구는 학습 과제 풀에 없었습니다.

호텔 예약 과제 한 건에서 기본 모델은 20회 시도 중 15회에 관리자 승인을 받지 않은 채 예약을 변경하고 환불을 처리했습니다. 미세 조정 뒤에는 20회 모두 예약과 결제 상태를 유지했고, 기대된 기록은 19회에서 모두 일치했습니다. 벤치마크의 5개 분야 모두에서 pass@1과 관찰된 20회 전부 통과 비율이 올랐습니다. 반면 pass@20은 인터넷 전문은행과 컨설팅 분야에서 증가하고 소매, 여행, 자동차 보험 분야에서는 하락했습니다. 자동차 보험은 pass@20이 7.0포인트로 가장 크게 떨어졌고, 소매는 관찰된 20회 전부 통과 비율이 24.5포인트로 가장 크게 올랐습니다.

기준 실험에서 연구팀은 187개 과제로 학습했습니다. 각 업데이트는 8개 롤아웃으로 이뤄진 그룹 18개, 즉 에피소드 144개를 H100 GPU 24개에서 생성했습니다. 학습은 토큰 평균 GRPO, 학습률 1e-6, 가중치 감쇠 0으로 50단계 진행됐습니다. 에피소드마다 새 백엔드와 격리된 MCP 세션을 사용했고, 시뮬레이션 사용자 역할은 GPT-5 Chat이 맡았습니다. 보상의 대부분은 결정론적 데이터베이스 검사에서 나왔으며, 범위가 좁은 일부 기준은 GPT-5 Chat을 판정자로 쓸 수 있었습니다. 백엔드 시간 초과는 시스템 오류로 처리해 실패 점수를 매기는 대신 해당 그룹을 다시 채웠습니다.

507개 과제를 각각 20회 실행하는 평가 캠페인의 추정 비용은 925.80달러에서 855.58달러로 7.6% 줄었습니다. 성공한 시도당 비용은 0.177달러에서 0.139달러로 21.4% 낮아졌고, 20회 모두 통과한 과제의 추정 비용은 과제당 24.36달러에서 8.00달러로 67.2% 감소했습니다. 연구팀은 이 금액이 청구서나 클라우드 요금이 아니라 모델 추론 비용을 포함하고 학습 및 정책 탐색 비용은 제외한 비교용 서빙 지표라고 설명했습니다. 연구팀에 따르면 미세 조정 모델의 신뢰할 수 있는 과제당 비용은 8.00달러로, GPT-5.4는 6.80달러, GPT-6 Astra는 7.45달러, Claude Opus 5.5는 7.80달러였습니다.