2026년 6월, 피터 스타인버거(Peter Steinberger)는 운영 중인 에이전트 시스템이 30일 동안 $1,305,088.81를 지출했으며, 약 100개 Codex 인스턴스에서 603 billion개가 넘는 토큰을 처리했다고 보고했다. 이 시스템은 3명으로 구성된 팀이 운영했다. 오예델레 테미토페(Oyedele Temitope)는 핵심 질문이 어떤 모델이 작업을 처리했는지에 그치지 않고, 수천 번의 도구 호출과 결정 이후 수백 개 병렬 에이전트를 어떤 운영 하네스가 조율했는지에 있다고 봤다.

해당 글은 AI 에이전트 하네스를 모델 주변에서 추론을 실행으로 바꾸는 런타임으로 정의했다. 하네스는 지시문과 컨텍스트 조립, 도구 접근 관리, 지속 상태 유지, 모델 간 라우팅, 검증, 관측성, 가드레일, 샌드박싱(격리된 실행 환경) 등을 맡을 수 있다. 이런 책임은 추론 과제가 아니라 시스템 엔지니어링 문제이기 때문에 모델 바깥에 놓인다.

테미토페는 하네스 구성요소가 대체로 반복된 운영 장애 이후 등장한다고 설명했다. 버전이 관리되는 시스템 프롬프트는 실행마다 달라지는 행동을 줄이고, 재시도가 포함된 구조화된 도구 호출은 조용히 실패하는 작업을 막는다. 또한 샌드박스는 에이전트가 생성한 코드 실행 위험을 제한하고, 내구성 있는 저장소는 세션 전반의 파일과 중간 작업을 보존한다. 컨텍스트 관리는 압축, 요약, 적시 컨텍스트 주입으로 컨텍스트 윈도우가 가득 차는 일을 피하며, 독립 검증이나 테스트는 완료 전 오류를 잡는다. 사람 승인 절차는 되돌릴 수 없는 작업을 처리하고, 관측성은 추적 기록, 도구 호출, 비용, 지연시간 지표를 남긴다.

해당 글은 완성된 에이전트 시스템의 중요성을 보여주는 근거로 Model Evaluation and Threat Research(METR)의 코딩 에이전트 연구를 인용했다. METR은 Claude Code가 단순 Reason-Act(ReAct) 루프보다 50.7 percent 비율로 더 나은 성능을 냈고, Codex는 Triframe을 14.5 percent 비율로 앞섰다고 밝혔다. 이 결과는 목적에 맞게 만든 하네스가 범용 스캐폴드보다 못할 수 있으며, 모델을 감싸는 시스템이 성능을 높일 뿐 아니라 낮출 수도 있다는 신호로 제시됐다.

METR 연구는 코딩 에이전트가 더 길고 지속적인 추론이 필요한 작업에서 신뢰성이 떨어진다는 점도 발견했다. 해당 글은 이를 실무적인 시간 지평으로 설명했다. 작업 시간이 늘어날수록 신뢰성이 낮아지고, 에이전트는 일관성을 잃으며, 실수에서 덜 효과적으로 회복하고, 긴 실행을 버거워한다는 것이다.

해당 글은 METR의 발견을 Anthropic의 Claude Code 엔지니어링 사후 분석과 대비했다. 사용자는 기반 모델이 바뀌지 않았는데도 코딩 품질이 낮아졌다고 보고했다. Anthropic은 이 회귀를 하네스 측 3가지 변경으로 추적했다. 지연시간을 줄이기 위한 기본 추론 노력 감소, 유휴 세션 뒤 이전 추론을 반복적으로 버리는 컨텍스트 관리 캐싱 버그, 장황함을 줄이려던 시스템 프롬프트 변경이 예상과 달리 코딩 품질을 낮춘 일이었다.

테미토페는 두 출처가 서로 다른 제약을 측정한다고 말했다. METR은 코딩 에이전트가 더 길고 어려운 작업을 얼마나 안정적으로 완료하는지 측정하고, Anthropic은 모델을 그대로 둔 상태에서 추론 노력, 컨텍스트 관리, 시스템 지시문이 출력 품질에 어떤 영향을 주는지 측정한다. 결론은 더 나은 모델도 여전히 중요하지만, 모델 역량이 실제 작동 결과로 얼마나 안정적으로 이어지는지는 운영 하네스가 결정한다는 것이다.

2026년 6월, 피터 스타인버거(Peter Steinberger)는 운영 중인 에이전트 시스템이 30일 동안 $1,305,088.81를 지출했으며, 약 100개 Codex 인스턴스에서 603 billion개가 넘는 토큰을 처리했다고 보고했다. 이 시스템은 3명으로 구성된 팀이 운영했다. 오예델레 테미토페(Oyedele Temitope)는 핵심 질문이 어떤 모델이 작업을 처리했는지에 그치지 않고, 수천 번의 도구 호출과 결정 이후 수백 개 병렬 에이전트를 어떤 운영 하네스가 조율했는지에 있다고 봤다.

해당 글은 AI 에이전트 하네스를 모델 주변에서 추론을 실행으로 바꾸는 런타임으로 정의했다. 하네스는 지시문과 컨텍스트 조립, 도구 접근 관리, 지속 상태 유지, 모델 간 라우팅, 검증, 관측성, 가드레일, 샌드박싱(격리된 실행 환경) 등을 맡을 수 있다. 이런 책임은 추론 과제가 아니라 시스템 엔지니어링 문제이기 때문에 모델 바깥에 놓인다.

테미토페는 하네스 구성요소가 대체로 반복된 운영 장애 이후 등장한다고 설명했다. 버전이 관리되는 시스템 프롬프트는 실행마다 달라지는 행동을 줄이고, 재시도가 포함된 구조화된 도구 호출은 조용히 실패하는 작업을 막는다. 또한 샌드박스는 에이전트가 생성한 코드 실행 위험을 제한하고, 내구성 있는 저장소는 세션 전반의 파일과 중간 작업을 보존한다. 컨텍스트 관리는 압축, 요약, 적시 컨텍스트 주입으로 컨텍스트 윈도우가 가득 차는 일을 피하며, 독립 검증이나 테스트는 완료 전 오류를 잡는다. 사람 승인 절차는 되돌릴 수 없는 작업을 처리하고, 관측성은 추적 기록, 도구 호출, 비용, 지연시간 지표를 남긴다.

해당 글은 완성된 에이전트 시스템의 중요성을 보여주는 근거로 Model Evaluation and Threat Research(METR)의 코딩 에이전트 연구를 인용했다. METR은 Claude Code가 단순 Reason-Act(ReAct) 루프보다 50.7 percent 비율로 더 나은 성능을 냈고, Codex는 Triframe을 14.5 percent 비율로 앞섰다고 밝혔다. 이 결과는 목적에 맞게 만든 하네스가 범용 스캐폴드보다 못할 수 있으며, 모델을 감싸는 시스템이 성능을 높일 뿐 아니라 낮출 수도 있다는 신호로 제시됐다.

METR 연구는 코딩 에이전트가 더 길고 지속적인 추론이 필요한 작업에서 신뢰성이 떨어진다는 점도 발견했다. 해당 글은 이를 실무적인 시간 지평으로 설명했다. 작업 시간이 늘어날수록 신뢰성이 낮아지고, 에이전트는 일관성을 잃으며, 실수에서 덜 효과적으로 회복하고, 긴 실행을 버거워한다는 것이다.

해당 글은 METR의 발견을 Anthropic의 Claude Code 엔지니어링 사후 분석과 대비했다. 사용자는 기반 모델이 바뀌지 않았는데도 코딩 품질이 낮아졌다고 보고했다. Anthropic은 이 회귀를 하네스 측 3가지 변경으로 추적했다. 지연시간을 줄이기 위한 기본 추론 노력 감소, 유휴 세션 뒤 이전 추론을 반복적으로 버리는 컨텍스트 관리 캐싱 버그, 장황함을 줄이려던 시스템 프롬프트 변경이 예상과 달리 코딩 품질을 낮춘 일이었다.

테미토페는 두 출처가 서로 다른 제약을 측정한다고 말했다. METR은 코딩 에이전트가 더 길고 어려운 작업을 얼마나 안정적으로 완료하는지 측정하고, Anthropic은 모델을 그대로 둔 상태에서 추론 노력, 컨텍스트 관리, 시스템 지시문이 출력 품질에 어떤 영향을 주는지 측정한다. 결론은 더 나은 모델도 여전히 중요하지만, 모델 역량이 실제 작동 결과로 얼마나 안정적으로 이어지는지는 운영 하네스가 결정한다는 것이다.