METR, Anthropic AI 연구 진전 속도 2배 추정

METR 직원들은 2026년 8월 12일부터 10월 29일까지 Anthropic에서 접근 권한을 제공받아 AI가 AI 연구개발을 얼마나 가속하는지 평가했습니다. METR에 따르면 Anthropic은 사전학습, 강화학습, 컴퓨팅 자원, 모델 벤치마크 점수, AI로 인한 속도 향상 분석, 전망 자료와 직원 인터뷰 등 내부 지표를 제공했습니다. Anthropic은 비공개 정보를 가릴 수 있었으며, 위험 결론에 가장 유용하다고 METR가 판단한 증거의 과반을 삭제했습니다. METR는 가려진 증거에 관한 불확실성 때문에 대중이 평가 결과를 독립적으로 판단하기 어렵다고 밝혔습니다.

평가에 참여한 METR 직원 대부분은 2026년 10월 기준, Anthropic이 명확히 정의된 과제에서 모델 성능을 2024년 3월부터 2025년 10월까지 기록된 속도의 약 2배로 개선하고 있다고 봤습니다. METR는 실제 속도가 1.3배에 가깝거나 3배일 수도 있고, 이 변화가 더 폭넓은 과제에도 적용되는지는 확신하기 어렵다고 밝혔습니다. Anthropic의 내부 벤치마크 지표인 AECI 분석에서는 2025년 10월 이전보다 성장 속도가 1.9배 빨라진 것으로 추정됐으며, 95% 신뢰구간은 1.5~2.8배였습니다. METR는 벤치마크 방법이나 과적합이 추정치에 영향을 줄 수 있다고 경고했습니다.

METR는 학습 컴퓨팅 자원의 증가 속도가 빨라진 것이 이번 가속을 일으키지 않았다는 설득력 있는 증거를 찾았습니다. 다른 원인에 대해서는 결정적인 증거를 찾지 못했으며, 2025년 말의 가속에는 AI 이외의 요인이 영향을 줬을 가능성이 크다고 했습니다. 2026년 10월 가속분 가운데 AI 활용에 따른 몫은 약 80%일 수 있다고 추정했지만, 불확실성이 상당하다고 강조했습니다. 연구자 인터뷰와 설문은 진전 속도가 대략 2배가 됐다는 추정과 일치했습니다. 직원들이 자체 보고한 AI의 속도 향상 효과는 2026년 10월 12배에 이르렀지만, METR는 이런 설문을 느슨한 증거라고 설명했습니다.

보고서에 따르면 Anthropic 연구자들은 AI가 연구개발을 돕고 있다고 했지만, 모델 학습의 중요한 부분에 완전 자율적으로 기여하는 수준은 아직 두드러지지 않았습니다. 연구자들은 자율 기여가 곧 나타날 수 있다는 징후를 보고했으며, 성숙도는 분야마다 달랐습니다. METR는 알고리즘 진전, 학습 컴퓨팅 자원, 실험용 컴퓨팅 자원 또는 데이터가 향후 12개월 안에 진전을 제한할 병목이라는 설득력 있는 증거를 찾지 못했습니다. 다만 평가 과정에서 이해가 바뀌었고 여전히 불확실하다고 덧붙였습니다. METR는 역량이 더 향상되면 AI 연구가 추가로 가속될 수 있다고 경고하는 한편, 자동화 가능성을 포함해 가속을 과소평가할 위험과 비AI 요인 및 검증 가능한 과제에 집중한 AECI 탓에 과대평가할 위험을 함께 제시했습니다.

METR 직원들은 2026년 8월 12일부터 10월 29일까지 Anthropic에서 접근 권한을 제공받아 AI가 AI 연구개발을 얼마나 가속하는지 평가했습니다. METR에 따르면 Anthropic은 사전학습, 강화학습, 컴퓨팅 자원, 모델 벤치마크 점수, AI로 인한 속도 향상 분석, 전망 자료와 직원 인터뷰 등 내부 지표를 제공했습니다. Anthropic은 비공개 정보를 가릴 수 있었으며, 위험 결론에 가장 유용하다고 METR가 판단한 증거의 과반을 삭제했습니다. METR는 가려진 증거에 관한 불확실성 때문에 대중이 평가 결과를 독립적으로 판단하기 어렵다고 밝혔습니다.

평가에 참여한 METR 직원 대부분은 2026년 10월 기준, Anthropic이 명확히 정의된 과제에서 모델 성능을 2024년 3월부터 2025년 10월까지 기록된 속도의 약 2배로 개선하고 있다고 봤습니다. METR는 실제 속도가 1.3배에 가깝거나 3배일 수도 있고, 이 변화가 더 폭넓은 과제에도 적용되는지는 확신하기 어렵다고 밝혔습니다. Anthropic의 내부 벤치마크 지표인 AECI 분석에서는 2025년 10월 이전보다 성장 속도가 1.9배 빨라진 것으로 추정됐으며, 95% 신뢰구간은 1.5~2.8배였습니다. METR는 벤치마크 방법이나 과적합이 추정치에 영향을 줄 수 있다고 경고했습니다.

METR는 학습 컴퓨팅 자원의 증가 속도가 빨라진 것이 이번 가속을 일으키지 않았다는 설득력 있는 증거를 찾았습니다. 다른 원인에 대해서는 결정적인 증거를 찾지 못했으며, 2025년 말의 가속에는 AI 이외의 요인이 영향을 줬을 가능성이 크다고 했습니다. 2026년 10월 가속분 가운데 AI 활용에 따른 몫은 약 80%일 수 있다고 추정했지만, 불확실성이 상당하다고 강조했습니다. 연구자 인터뷰와 설문은 진전 속도가 대략 2배가 됐다는 추정과 일치했습니다. 직원들이 자체 보고한 AI의 속도 향상 효과는 2026년 10월 12배에 이르렀지만, METR는 이런 설문을 느슨한 증거라고 설명했습니다.

보고서에 따르면 Anthropic 연구자들은 AI가 연구개발을 돕고 있다고 했지만, 모델 학습의 중요한 부분에 완전 자율적으로 기여하는 수준은 아직 두드러지지 않았습니다. 연구자들은 자율 기여가 곧 나타날 수 있다는 징후를 보고했으며, 성숙도는 분야마다 달랐습니다. METR는 알고리즘 진전, 학습 컴퓨팅 자원, 실험용 컴퓨팅 자원 또는 데이터가 향후 12개월 안에 진전을 제한할 병목이라는 설득력 있는 증거를 찾지 못했습니다. 다만 평가 과정에서 이해가 바뀌었고 여전히 불확실하다고 덧붙였습니다. METR는 역량이 더 향상되면 AI 연구가 추가로 가속될 수 있다고 경고하는 한편, 자동화 가능성을 포함해 가속을 과소평가할 위험과 비AI 요인 및 검증 가능한 과제에 집중한 AECI 탓에 과대평가할 위험을 함께 제시했습니다.