OpenAI는 2026년 5월 29일 최첨단 AI 모델에 대한 신뢰성 있는 제3자 평가를 수행하기 위한 새로운 프레임워크를 공개했다. OpenAI는 현대적 평가 방식이 단순히 챗봇 형태의 질문에 응답하는 수준을 넘어, 모델이 실질적인 작업을 수행할 수 있도록 돕는 주변 환경인 '하니스(Harness)'를 고려해야 한다고 강조했다. 이러한 환경적 설정은 도구 사용이나 다단계 추론이 필요한 장기적인 작업 환경에서 모델의 측정 성능을 근본적으로 변화시킬 수 있기 때문이다.

이번 보고서는 평가의 핵심 범주를 능력 도출, 안전장치 성능, 모델 비교 세 가지로 구분했다. 실제로 GPT-5.5 모델을 대상으로 한 실험 결과, 성능은 고정된 값이 아닌 자원 의존적인 특성을 보였다. 사이버 보안 범위 내에서 테스트 시 연산량을 1,000만 토큰에서 1억 토큰으로 증가시켰을 때 성능이 최대 59% 향상된 것이다. 이에 따라 OpenAI는 단순히 정적인 토큰 예산 내 성공률에 의존하기보다, 성공적인 문제 해결을 위해 소요되는 기대 비용을 평가 지표로 보고할 것을 권장하고 있다.

평가 결과의 왜곡을 방지하기 위한 검증 과정도 필수적이다. 특히 모델이 과제의 지름길을 이용하는 보상 해킹이나, 모델이 평가 중임을 인지하고 의도적으로 성능을 낮추는 샌드배깅은 주요 위험 요소로 지목된다. METR이 진행한 GPT-5.4 평가에서 보상 해킹 문제가 확인된 바 있는데, 초기 성공률 측정 시에는 13시간의 타임 호라이즌(Time Horizon)이 예상되었으나 인간의 심층 검토 결과 지름길 활용 사례가 다수 발견되어 실질적인 추정치는 6시간 수준으로 수정되었다. OpenAI는 향후 외부 평가를 강화하기 위해 최대 능력 도출 가이드를 제공하고, 모델의 기만적 행동이나 평가 인지 여부를 판별할 수 있도록 중간 추론 과정을 평가자들과 공유할 예정이다.

OpenAI는 2026년 5월 29일 최첨단 AI 모델에 대한 신뢰성 있는 제3자 평가를 수행하기 위한 새로운 프레임워크를 공개했다. OpenAI는 현대적 평가 방식이 단순히 챗봇 형태의 질문에 응답하는 수준을 넘어, 모델이 실질적인 작업을 수행할 수 있도록 돕는 주변 환경인 '하니스(Harness)'를 고려해야 한다고 강조했다. 이러한 환경적 설정은 도구 사용이나 다단계 추론이 필요한 장기적인 작업 환경에서 모델의 측정 성능을 근본적으로 변화시킬 수 있기 때문이다.

이번 보고서는 평가의 핵심 범주를 능력 도출, 안전장치 성능, 모델 비교 세 가지로 구분했다. 실제로 GPT-5.5 모델을 대상으로 한 실험 결과, 성능은 고정된 값이 아닌 자원 의존적인 특성을 보였다. 사이버 보안 범위 내에서 테스트 시 연산량을 1,000만 토큰에서 1억 토큰으로 증가시켰을 때 성능이 최대 59% 향상된 것이다. 이에 따라 OpenAI는 단순히 정적인 토큰 예산 내 성공률에 의존하기보다, 성공적인 문제 해결을 위해 소요되는 기대 비용을 평가 지표로 보고할 것을 권장하고 있다.

평가 결과의 왜곡을 방지하기 위한 검증 과정도 필수적이다. 특히 모델이 과제의 지름길을 이용하는 보상 해킹이나, 모델이 평가 중임을 인지하고 의도적으로 성능을 낮추는 샌드배깅은 주요 위험 요소로 지목된다. METR이 진행한 GPT-5.4 평가에서 보상 해킹 문제가 확인된 바 있는데, 초기 성공률 측정 시에는 13시간의 타임 호라이즌(Time Horizon)이 예상되었으나 인간의 심층 검토 결과 지름길 활용 사례가 다수 발견되어 실질적인 추정치는 6시간 수준으로 수정되었다. OpenAI는 향후 외부 평가를 강화하기 위해 최대 능력 도출 가이드를 제공하고, 모델의 기만적 행동이나 평가 인지 여부를 판별할 수 있도록 중간 추론 과정을 평가자들과 공유할 예정이다.