METR, Anthropic의 AI 연구개발 위험 평가에 의문

METR은 Anthropic의 2026년 8월 공개 위험 보고서 중 ‘자동화된 연구개발의 위험’ 항목을 검토했습니다. 평가에는 Anthropic이 공유한 비공개 보고서와 기타 비공개 자료도 활용됐습니다. METR은 7월 15일까지 내부 배포 모델이 주요 분야의 연구개발을 직접 자동화하거나 진전 가속으로 급박한 재앙적 위험을 일으킬 위험은 낮았다는 데 동의했습니다. 다만 공개 보고서가 진행 중인 가속을 과소평가했으며, 그 시점에 Anthropic이 조기 경보 기준을 넘었을 가능성이 있다고 밝혔습니다. 공개 보고서가 명확히 전달하지 않은 판단에 평가가 일부 의존했다고도 덧붙였습니다.

Anthropic의 RSP v3.4는 ‘주요 분야의 자동화된 연구개발’ 기준을 두 가지 조건으로 정합니다. 모델이 모든 연구 과학자와 엔지니어를 경쟁력 있는 비용, 즉 비용 차이가 5배 이내인 수준에서 완전히 대체하거나, 자동화된 AI 연구와 관련된 AI 진전을 2배 가속하는 경우입니다. Anthropic은 7월 15일까지 어느 조건도 충족되지 않았다고 주장했습니다. 인간 연구자들이 계속 일한다는 점을 전면 대체가 이뤄지지 않았다는 근거로 들었고, 선행 지표에서 2025년 초중반 가속이 시작됐지만 2배에는 못 미쳤다고 밝혔습니다. 또 2025년 가속의 상당 부분은 자사 AI 모델 외 요인에 따른 것이지만, 모델들이 보고서의 분석 기간까지 더 빠른 추세가 이어지는 데 기여했다고 설명했습니다.

Anthropic은 해당 기준을 재앙적 피해가 이미 발생했다는 증거가 아니라 조기 경보로 규정하고, 7월 15일 위험을 ‘낮음’으로 평가했습니다. 위협 모델은 로봇공학, 에너지, 사이버전, AI 등의 연구를 AI 시스템이 자동화할 경우 국가 간 힘의 급격한 변화나 인간 통제 상실 같은 미래 위험을 제시합니다. METR은 공개 보고서가 RSP 기준을 넘을 위험과 위협 모델의 재앙적 결과가 발생할 위험을 더 분명히 구분할 수 있었다고 지적했습니다.

METR은 전면 대체가 이뤄지지 않았다는 Anthropic의 주장은 대체로 설득력 있다고 봤지만, 관련 역량을 측정하는 높은 신뢰도의 벤치마크가 부족해 확신은 낮다고 밝혔습니다. 모델이 필요한 역량을 갖췄거나 그에 근접했더라도 정렬, 도구, 감독 또는 역량을 끌어내는 방식이 자동화를 제한할 수 있다고 설명했습니다. METR은 공개 보고서가 2배 기준에 관한 결론을 과도하게 단정했다며, 7월 15일까지 기준을 넘었을 가능성이 있다고 봤습니다. 다만 양측의 관련 연구자들은 대체로 기준을 넘지 않았다는 쪽에 무게를 둔다고 전했습니다.

METR은 비공개 보고서의 수치가 과거 진전 속도의 1.97배를 나타낸다고 계산했습니다. 공개 보고서는 이를 ‘2배 미만’이라고 표현했습니다. METR 자체 추정치는 정의와 기간에 따라 1.3~2.8배로 달랐으며, 방법론상 불확실성도 컸습니다. 이에 METR은 비공개 보고서의 추정치를 ‘약 2배’라고 표현하는 편이 적절하다고 밝혔습니다.

AI가 가속에 기여한 정도에 대해 METR은 공개 보고서가 비공개 보고서의 근거보다 비AI 요인이 상당 부분을 설명한다는 데 더 큰 확신을 보이는 것처럼 서술했다고 지적했습니다. 비공개 보고서는 7월 15일까지 AI에 기인한 가속이 전체적으로 2배를 넘었을 가능성이 있다고 했으며, METR도 반사실적 추정이 어렵다는 점을 강조하면서 이 평가에 대체로 동의했습니다. METR이 선호하는 표현은 AI 모델이 더 빠른 추세를 이어가는 데 점점 중요한 요인이 됐고, AI 지원이 없었을 때보다 전체 진전 속도가 아마 약간 낮은 2배였지만 2배 초과도 가능했다는 것입니다.

METR은 AECI 근거에 대한 공개 보고서의 설명에도 이의를 제기했습니다. Anthropic이 비공개 보고서의 단서를 공개 보고서에서 누락했으며, 이후 Model 2 스냅샷은 공개 보고서가 시사한 것보다 더 개선될 것으로 예상됐다고 METR은 밝혔습니다. 이후 스냅샷은 Claude Mythos 5가 Mythos Preview에서 개선된 정도와 비슷하게 AECI를 개선했습니다. 제공된 검토문은 일회성 AECI 급등의 근거가 약하다는 Anthropic의 강조에 METR이 반박하는 대목에서 끝납니다.

METR은 Anthropic의 2026년 8월 공개 위험 보고서 중 ‘자동화된 연구개발의 위험’ 항목을 검토했습니다. 평가에는 Anthropic이 공유한 비공개 보고서와 기타 비공개 자료도 활용됐습니다. METR은 7월 15일까지 내부 배포 모델이 주요 분야의 연구개발을 직접 자동화하거나 진전 가속으로 급박한 재앙적 위험을 일으킬 위험은 낮았다는 데 동의했습니다. 다만 공개 보고서가 진행 중인 가속을 과소평가했으며, 그 시점에 Anthropic이 조기 경보 기준을 넘었을 가능성이 있다고 밝혔습니다. 공개 보고서가 명확히 전달하지 않은 판단에 평가가 일부 의존했다고도 덧붙였습니다.

Anthropic의 RSP v3.4는 ‘주요 분야의 자동화된 연구개발’ 기준을 두 가지 조건으로 정합니다. 모델이 모든 연구 과학자와 엔지니어를 경쟁력 있는 비용, 즉 비용 차이가 5배 이내인 수준에서 완전히 대체하거나, 자동화된 AI 연구와 관련된 AI 진전을 2배 가속하는 경우입니다. Anthropic은 7월 15일까지 어느 조건도 충족되지 않았다고 주장했습니다. 인간 연구자들이 계속 일한다는 점을 전면 대체가 이뤄지지 않았다는 근거로 들었고, 선행 지표에서 2025년 초중반 가속이 시작됐지만 2배에는 못 미쳤다고 밝혔습니다. 또 2025년 가속의 상당 부분은 자사 AI 모델 외 요인에 따른 것이지만, 모델들이 보고서의 분석 기간까지 더 빠른 추세가 이어지는 데 기여했다고 설명했습니다.

Anthropic은 해당 기준을 재앙적 피해가 이미 발생했다는 증거가 아니라 조기 경보로 규정하고, 7월 15일 위험을 ‘낮음’으로 평가했습니다. 위협 모델은 로봇공학, 에너지, 사이버전, AI 등의 연구를 AI 시스템이 자동화할 경우 국가 간 힘의 급격한 변화나 인간 통제 상실 같은 미래 위험을 제시합니다. METR은 공개 보고서가 RSP 기준을 넘을 위험과 위협 모델의 재앙적 결과가 발생할 위험을 더 분명히 구분할 수 있었다고 지적했습니다.

METR은 전면 대체가 이뤄지지 않았다는 Anthropic의 주장은 대체로 설득력 있다고 봤지만, 관련 역량을 측정하는 높은 신뢰도의 벤치마크가 부족해 확신은 낮다고 밝혔습니다. 모델이 필요한 역량을 갖췄거나 그에 근접했더라도 정렬, 도구, 감독 또는 역량을 끌어내는 방식이 자동화를 제한할 수 있다고 설명했습니다. METR은 공개 보고서가 2배 기준에 관한 결론을 과도하게 단정했다며, 7월 15일까지 기준을 넘었을 가능성이 있다고 봤습니다. 다만 양측의 관련 연구자들은 대체로 기준을 넘지 않았다는 쪽에 무게를 둔다고 전했습니다.

METR은 비공개 보고서의 수치가 과거 진전 속도의 1.97배를 나타낸다고 계산했습니다. 공개 보고서는 이를 ‘2배 미만’이라고 표현했습니다. METR 자체 추정치는 정의와 기간에 따라 1.3~2.8배로 달랐으며, 방법론상 불확실성도 컸습니다. 이에 METR은 비공개 보고서의 추정치를 ‘약 2배’라고 표현하는 편이 적절하다고 밝혔습니다.

AI가 가속에 기여한 정도에 대해 METR은 공개 보고서가 비공개 보고서의 근거보다 비AI 요인이 상당 부분을 설명한다는 데 더 큰 확신을 보이는 것처럼 서술했다고 지적했습니다. 비공개 보고서는 7월 15일까지 AI에 기인한 가속이 전체적으로 2배를 넘었을 가능성이 있다고 했으며, METR도 반사실적 추정이 어렵다는 점을 강조하면서 이 평가에 대체로 동의했습니다. METR이 선호하는 표현은 AI 모델이 더 빠른 추세를 이어가는 데 점점 중요한 요인이 됐고, AI 지원이 없었을 때보다 전체 진전 속도가 아마 약간 낮은 2배였지만 2배 초과도 가능했다는 것입니다.

METR은 AECI 근거에 대한 공개 보고서의 설명에도 이의를 제기했습니다. Anthropic이 비공개 보고서의 단서를 공개 보고서에서 누락했으며, 이후 Model 2 스냅샷은 공개 보고서가 시사한 것보다 더 개선될 것으로 예상됐다고 METR은 밝혔습니다. 이후 스냅샷은 Claude Mythos 5가 Mythos Preview에서 개선된 정도와 비슷하게 AECI를 개선했습니다. 제공된 검토문은 일회성 AECI 급등의 근거가 약하다는 Anthropic의 강조에 METR이 반박하는 대목에서 끝납니다.