일리노이대학교 어배너섐페인 연구진은 인공지능 에이전트의 일부 도구 선택을 소형 의사결정 모델에 맡기는 JevAgentHarness를 공개했습니다. 10월 15일 발표된 논문에는 벤치마크와 에이전트가 실수한 뒤 도달한 상태를 학습한 4B 모델이 담겼습니다. 연구진은 성공률을 유지하면서 장시간 작업의 비용과 지연 시간을 줄이는 것을 목표로 합니다.

연구진은 공개 벤치마크와 자체 DecisionGym 환경을 활용해, 의사결정 모델이 개별 질문에 답할 때와 에이전트를 제어할 때를 평가하는 AgentDecisionBench를 만들었습니다. 개별 질문에서 가장 정확했던 모델도 에이전트 작업의 69.5%만 완료했습니다. 신뢰 임계값에 맞추지 않고 도구 선택을 위임하면 작업 성공률이 19.0%포인트 낮아졌습니다. JevAgentHarness는 에이전트의 실제 실행 경로를 바탕으로 선택마다 임계값을 맞추고, 그보다 낮은 신뢰도의 결정은 대형 언어 모델에 맡깁니다.

연구진은 에이전트가 오류를 낸 뒤의 상태를 학습 데이터로 삼고 Jev의 답변을 정답 표지로 사용해 공개 모델 AgentDecision-4B를 훈련했습니다. 학습 데이터와 다른 작업에서 AgentDecision-4B를 사용한 에이전트는 91.5%를 해결했으며, Jev를 사용했을 때는 82.0%였습니다. 학습 데이터와 비슷한 작업에서는 이런 방식으로 훈련한 4B 모델이 작업 성공률을 3포인트 이상 떨어뜨리지 않으면서 비용을 81.1~89.0% 줄이고 최대 2.5배 빠르게 작동하게 했습니다. 저자들은 모델과 데이터, 하네스를 공개할 계획이라고 밝혔습니다.

일리노이대학교 어배너섐페인 연구진은 인공지능 에이전트의 일부 도구 선택을 소형 의사결정 모델에 맡기는 JevAgentHarness를 공개했습니다. 10월 15일 발표된 논문에는 벤치마크와 에이전트가 실수한 뒤 도달한 상태를 학습한 4B 모델이 담겼습니다. 연구진은 성공률을 유지하면서 장시간 작업의 비용과 지연 시간을 줄이는 것을 목표로 합니다.

연구진은 공개 벤치마크와 자체 DecisionGym 환경을 활용해, 의사결정 모델이 개별 질문에 답할 때와 에이전트를 제어할 때를 평가하는 AgentDecisionBench를 만들었습니다. 개별 질문에서 가장 정확했던 모델도 에이전트 작업의 69.5%만 완료했습니다. 신뢰 임계값에 맞추지 않고 도구 선택을 위임하면 작업 성공률이 19.0%포인트 낮아졌습니다. JevAgentHarness는 에이전트의 실제 실행 경로를 바탕으로 선택마다 임계값을 맞추고, 그보다 낮은 신뢰도의 결정은 대형 언어 모델에 맡깁니다.

연구진은 에이전트가 오류를 낸 뒤의 상태를 학습 데이터로 삼고 Jev의 답변을 정답 표지로 사용해 공개 모델 AgentDecision-4B를 훈련했습니다. 학습 데이터와 다른 작업에서 AgentDecision-4B를 사용한 에이전트는 91.5%를 해결했으며, Jev를 사용했을 때는 82.0%였습니다. 학습 데이터와 비슷한 작업에서는 이런 방식으로 훈련한 4B 모델이 작업 성공률을 3포인트 이상 떨어뜨리지 않으면서 비용을 81.1~89.0% 줄이고 최대 2.5배 빠르게 작동하게 했습니다. 저자들은 모델과 데이터, 하네스를 공개할 계획이라고 밝혔습니다.