마이크로소프트의 타이웨이 시(Taiwei Shi) 연구원을 비롯한 연구팀은 인간이 자신의 실수로부터 배우는 과정을 모방한 학습법인 '경험적 강화 학습(ERL)'을 도입했다. 기존의 강화 학습은 피드백이 드물거나 지연되는 상황에서 모델이 실패 원인을 정확히 파악하지 못하고 미래 행동을 추측해야 하는 어려움이 있었다. 이에 따라 ERL은 모델이 최적의 전략을 확정하기 전 자신의 시도를 스스로 분석하는 체계적인 '경험-성찰-공고화' 루프를 구축해 이러한 한계를 극복했다.

이 시스템에서 언어 모델은 초기 해결책을 생성한 뒤 환경으로부터 피드백을 받는다. 특히 단순히 다시 시도하는 방식이 아니라, 무엇이 잘못되었는지 서술형으로 성찰하며 두 번째 시도를 더욱 정교하게 가다듬는 것이 특징이다. 이후 모델이 작업에 성공하면 해당 논리는 모델의 핵심 '두뇌'인 베이스 정책에 직접 내재화된다. 결과적으로 모델이 학습 단계에서 올바른 행동을 완전히 습득하기 때문에, 실제 서비스 단계에서는 별도의 성찰 과정이 필요 없어 빠른 응답 속도와 낮은 비용을 유지할 수 있다.

실제로 이번 연구 결과는 AI가 도구를 사용하거나 복잡한 문제를 해결해야 하는 에이전틱 AI 분야에서 매우 인상적인 성과를 거두었다. 연구진은 복잡한 제어 환경에서 81%의 성능 향상을 확인했으며, 도구 활용 추론 작업에서도 11%의 성능 개선을 기록했다고 보고했다. 가공되지 않은 피드백을 구조화된 행동 수정으로 전환하는 ERL은, 단순히 정적인 지시를 따르는 것을 넘어 시뮬레이션된 경험을 통해 스스로 진화하는 인공지능 모델 구축의 실질적인 해법을 제시한다.

마이크로소프트의 타이웨이 시(Taiwei Shi) 연구원을 비롯한 연구팀은 인간이 자신의 실수로부터 배우는 과정을 모방한 학습법인 '경험적 강화 학습(ERL)'을 도입했다. 기존의 강화 학습은 피드백이 드물거나 지연되는 상황에서 모델이 실패 원인을 정확히 파악하지 못하고 미래 행동을 추측해야 하는 어려움이 있었다. 이에 따라 ERL은 모델이 최적의 전략을 확정하기 전 자신의 시도를 스스로 분석하는 체계적인 '경험-성찰-공고화' 루프를 구축해 이러한 한계를 극복했다.

이 시스템에서 언어 모델은 초기 해결책을 생성한 뒤 환경으로부터 피드백을 받는다. 특히 단순히 다시 시도하는 방식이 아니라, 무엇이 잘못되었는지 서술형으로 성찰하며 두 번째 시도를 더욱 정교하게 가다듬는 것이 특징이다. 이후 모델이 작업에 성공하면 해당 논리는 모델의 핵심 '두뇌'인 베이스 정책에 직접 내재화된다. 결과적으로 모델이 학습 단계에서 올바른 행동을 완전히 습득하기 때문에, 실제 서비스 단계에서는 별도의 성찰 과정이 필요 없어 빠른 응답 속도와 낮은 비용을 유지할 수 있다.

실제로 이번 연구 결과는 AI가 도구를 사용하거나 복잡한 문제를 해결해야 하는 에이전틱 AI 분야에서 매우 인상적인 성과를 거두었다. 연구진은 복잡한 제어 환경에서 81%의 성능 향상을 확인했으며, 도구 활용 추론 작업에서도 11%의 성능 개선을 기록했다고 보고했다. 가공되지 않은 피드백을 구조화된 행동 수정으로 전환하는 ERL은, 단순히 정적인 지시를 따르는 것을 넘어 시뮬레이션된 경험을 통해 스스로 진화하는 인공지능 모델 구축의 실질적인 해법을 제시한다.