METR, Anthropic AI 개발 가속 확인

독립 감시단체 METR은 목요일 Anthropic이 명확히 규정된 작업을 수행하는 AI 시스템의 능력을 1년 전보다 약 2배 빠르게 개선하고 있다고 밝혔습니다. Anthropic의 초청으로 내부 자료를 살펴보고 직원을 면담한 비영리단체 METR은 AI가 AI 개발을 도운 것이 속도 향상의 상당 부분을 설명할 가능성이 있다고 평가했습니다. 이번 평가는 최고경영자 다리오 아모데이(Dario Amodei)가 안전 대책이 따라잡도록 업계가 모델 개선 속도를 늦춰야 한다고 주장해 온 가운데 나왔습니다. 회사는 이달 말 기업공개도 계획하고 있습니다.

METR 보고서는 8월 중순부터 10월 말까지 약 11주간 수집된 회사 자료와 직원 면담, 8월에 공개된 Anthropic의 위험 보고서와 비공개판, 기타 비공개 자료를 분석했습니다. METR은 공개 보고서가 가속 정도를 축소해 보여줬다고 밝혔지만, Anthropic이 조사 결과 일부를 삭제해 세부 추정치를 공개하기 어려웠습니다. 공동창업자 샘 맥캔들리시는 삭제된 부분 때문에 METR의 분석을 검증하기가 더 어려워졌다고 말했습니다. 다만 속도 향상을 일으키는 요인을 공개하면 영업상 민감한 정보가 드러나고 다른 이들에게 개발 속도를 높일 방법을 알려줄 수 있다고 설명했습니다. 그는 METR의 여러 결론이 자신의 판단과 일치한다면서도 AI가 연구를 얼마나 빠르게 하는지 정확히 측정하기는 어렵다고 덧붙였습니다.

METR은 가속 현상이 명확히 규정된 작업에만 적용될 수 있어 결과를 과대평가했을 가능성이 있다고 밝혔습니다. 모델 훈련에 쓰이는 컴퓨팅 파워 증가가 원인일 가능성은 배제할 수 있었으며, 연구진은 AI 자체가 AI 개선을 돕고 있다고 추정했습니다. METR은 컴퓨팅 파워나 데이터 부족 등 Anthropic의 진전을 막는 병목을 찾지 못했습니다. 보고서는 AI가 아직 모델 훈련의 가장 중요한 부분에서 매우 큰 자율적 기여를 하지는 못한다고 했지만, Anthropic 연구진은 그런 일이 곧 가능해질 징후를 설명했습니다. METR은 AI를 활용한 자기개선이 가속을 누적시킬 수 있다고 경고했습니다. 맥캔들리시는 그 속도 변화가 고도화된 모델의 위험이 커지는 속도에도 영향을 줘 안전상 중요하다고 말했습니다.

METR은 수년간 Anthropic과 OpenAI를 비롯한 연구소의 모델 능력을 평가해 왔습니다. 기부금으로 운영되며 평가 업무의 대가를 받지 않는다고 밝혔고, 평가 대상 기업들은 평가와 연구·엔지니어링을 위한 접근 권한과 토큰을 제공해 왔습니다. Anthropic은 첨단 AI 개발 속도를 조절하겠다는 약속의 일환으로 외부 평가자를 환영한다고 밝혔습니다. 아모데이는 9월 12일 에세이에서 더 느린 개발을 주장하며 주요 연구소에 직원과 비슷한 접근 권한을 가진 외부 평가자를 지지했고, METR을 구체적으로 언급했습니다. OpenAI 최고경영자 샘 올트먼도 직원과 비슷한 접근 권한을 가진 독립 평가자를 지지했습니다. Anthropic은 이달 말 상장을 계획하고 있으며, 기사에 따르면 이는 역대 최대 규모의 기업공개가 될 가능성이 있습니다.

독립 감시단체 METR은 목요일 Anthropic이 명확히 규정된 작업을 수행하는 AI 시스템의 능력을 1년 전보다 약 2배 빠르게 개선하고 있다고 밝혔습니다. Anthropic의 초청으로 내부 자료를 살펴보고 직원을 면담한 비영리단체 METR은 AI가 AI 개발을 도운 것이 속도 향상의 상당 부분을 설명할 가능성이 있다고 평가했습니다. 이번 평가는 최고경영자 다리오 아모데이(Dario Amodei)가 안전 대책이 따라잡도록 업계가 모델 개선 속도를 늦춰야 한다고 주장해 온 가운데 나왔습니다. 회사는 이달 말 기업공개도 계획하고 있습니다.

METR 보고서는 8월 중순부터 10월 말까지 약 11주간 수집된 회사 자료와 직원 면담, 8월에 공개된 Anthropic의 위험 보고서와 비공개판, 기타 비공개 자료를 분석했습니다. METR은 공개 보고서가 가속 정도를 축소해 보여줬다고 밝혔지만, Anthropic이 조사 결과 일부를 삭제해 세부 추정치를 공개하기 어려웠습니다. 공동창업자 샘 맥캔들리시는 삭제된 부분 때문에 METR의 분석을 검증하기가 더 어려워졌다고 말했습니다. 다만 속도 향상을 일으키는 요인을 공개하면 영업상 민감한 정보가 드러나고 다른 이들에게 개발 속도를 높일 방법을 알려줄 수 있다고 설명했습니다. 그는 METR의 여러 결론이 자신의 판단과 일치한다면서도 AI가 연구를 얼마나 빠르게 하는지 정확히 측정하기는 어렵다고 덧붙였습니다.

METR은 가속 현상이 명확히 규정된 작업에만 적용될 수 있어 결과를 과대평가했을 가능성이 있다고 밝혔습니다. 모델 훈련에 쓰이는 컴퓨팅 파워 증가가 원인일 가능성은 배제할 수 있었으며, 연구진은 AI 자체가 AI 개선을 돕고 있다고 추정했습니다. METR은 컴퓨팅 파워나 데이터 부족 등 Anthropic의 진전을 막는 병목을 찾지 못했습니다. 보고서는 AI가 아직 모델 훈련의 가장 중요한 부분에서 매우 큰 자율적 기여를 하지는 못한다고 했지만, Anthropic 연구진은 그런 일이 곧 가능해질 징후를 설명했습니다. METR은 AI를 활용한 자기개선이 가속을 누적시킬 수 있다고 경고했습니다. 맥캔들리시는 그 속도 변화가 고도화된 모델의 위험이 커지는 속도에도 영향을 줘 안전상 중요하다고 말했습니다.

METR은 수년간 Anthropic과 OpenAI를 비롯한 연구소의 모델 능력을 평가해 왔습니다. 기부금으로 운영되며 평가 업무의 대가를 받지 않는다고 밝혔고, 평가 대상 기업들은 평가와 연구·엔지니어링을 위한 접근 권한과 토큰을 제공해 왔습니다. Anthropic은 첨단 AI 개발 속도를 조절하겠다는 약속의 일환으로 외부 평가자를 환영한다고 밝혔습니다. 아모데이는 9월 12일 에세이에서 더 느린 개발을 주장하며 주요 연구소에 직원과 비슷한 접근 권한을 가진 외부 평가자를 지지했고, METR을 구체적으로 언급했습니다. OpenAI 최고경영자 샘 올트먼도 직원과 비슷한 접근 권한을 가진 독립 평가자를 지지했습니다. Anthropic은 이달 말 상장을 계획하고 있으며, 기사에 따르면 이는 역대 최대 규모의 기업공개가 될 가능성이 있습니다.