Anthropic, 모델 응답 검증 시스템 FlashProve 공개

Anthropic은 현지 시간 11월 2일, 지정한 AI 모델이 응답을 생성했는지 암호 기술로 검증하는 시스템 FlashProve를 발표했습니다. 코드와 기술 문서는 Apache 2.0 라이선스로 GitHub에 공개했습니다. 개발에는 Anthropic의 Frontier Red Team과 스위스 연방공과대학교 로잔(EPFL), 미국 매사추세츠공과대학교(MIT) 연구진이 참여했습니다. Anthropic은 완성품이 아니라 연구 진행 단계라고 설명했습니다.

현재 이용자는 응답을 실제로 생성한 모델을 확인할 수 없습니다. Anthropic은 비용 절감을 위해 라우팅 서비스가 선택된 모델을 다른 모델로 바꾸거나, 공격자가 응답을 변조하는 사례를 들었습니다. 출력 품질만으로는 모델을 구별하기 어렵고, 다수 모델의 가중치(학습 내용을 나타내는 수치)는 공개되지 않습니다. 가중치를 확보해도 같은 모델을 실행해 대조하려면 일반 이용자나 평가 기관이 감당하기 어려운 규모의 연산 자원이 필요합니다.

FlashProve는 계산이 올바르다는 점을 내용을 공개하지 않고 짧은 증명으로 보이는 암호 기술인 영지식 간결 비대화형 지식 논증(zkSNARK)을 사용합니다. 모델 제공자는 가중치에 대응하는 짧은 ‘지문’인 커미트먼트를 미리 공개하고, 응답마다 해당 가중치의 모델이 입력 프롬프트에서 그 출력을 생성했다는 증명 파일을 만듭니다. 수신자는 GPU가 없는 PC에서도 검증할 수 있으며, 다른 모델이 만든 출력이면 검증에 실패합니다. 증명으로 가중치가 유출되지는 않지만 모델 아키텍처는 숨겨지지 않습니다.

Anthropic은 제3자 평가 기관의 모델 동일성 확인, 추론 서버가 침해됐을 때의 변조 탐지, 승인된 모델만 제공하도록 하는 규제 준수 확인을 활용 사례로 제시했습니다. 회사는 ‘Frontier Safety Roadmap’에서 특정 모델의 가중치와 출력을 연결해 검증하는 기술의 시제품을 9월 30일까지 개발하겠다는 목표를 세운 바 있습니다. Anthropic은 추론 트래픽에 서명하고 신뢰할 수 있는 서버에서 재계산하는 별도 프로젝트로 이 목표를 달성했으며, FlashProve는 같은 목적을 다른 방식으로 추구한다고 설명했습니다.

검증 시험에는 Meta의 Llama 4 Maverick을 사용했습니다. 이 모델은 매개변수 4000억 개의 혼합 전문가 모델(MoE)이며, 시험에는 4비트 양자화 버전이 쓰였습니다. NVIDIA H100 GPU 1개에서 초당 약 110토큰의 증명을 생성했고, 1024토큰 요청당 증명 크기는 약 19MB였습니다. 24코어 CPU로 검증하는 데는 약 17초가 걸렸습니다. 일반 추론보다 GPU 시간이 약 70~95배 더 들지만, 같은 모델을 대상으로 한 기존 오픈소스 방식은 1000토큰 증명에 14.3시간이 걸리고 증명 크기가 93.6GB였다고 Anthropic은 밝혔습니다.

Anthropic에 따르면 기존 방식보다 성능을 개선하는 과정에서 Claude를 사용했고, 실행 코드 대부분도 AI가 생성했습니다. 회사는 대규모 복잡 시스템은 판단의 타당성을 평가하기 어렵다고 보고, 보안상 핵심 속성을 형식 검증 언어 Lean으로 수학적으로 증명해 제3자가 감사할 수 있도록 공개했습니다.

FlashProve는 연구용 시제품으로, 현재는 혼합 전문가 모델만 지원하고 처리할 수 있는 컨텍스트는 1024토큰까지입니다. 증명 대상은 정수화한 모델이며, 확률이 가장 높은 토큰을 항상 선택하는 greedy decoding을 전제로 합니다. 응답을 보낸 뒤 증명을 생성하므로 사전에 변조를 막는 대신 사후에 탐지합니다.

Anthropic은 현지 시간 11월 2일, 지정한 AI 모델이 응답을 생성했는지 암호 기술로 검증하는 시스템 FlashProve를 발표했습니다. 코드와 기술 문서는 Apache 2.0 라이선스로 GitHub에 공개했습니다. 개발에는 Anthropic의 Frontier Red Team과 스위스 연방공과대학교 로잔(EPFL), 미국 매사추세츠공과대학교(MIT) 연구진이 참여했습니다. Anthropic은 완성품이 아니라 연구 진행 단계라고 설명했습니다.

현재 이용자는 응답을 실제로 생성한 모델을 확인할 수 없습니다. Anthropic은 비용 절감을 위해 라우팅 서비스가 선택된 모델을 다른 모델로 바꾸거나, 공격자가 응답을 변조하는 사례를 들었습니다. 출력 품질만으로는 모델을 구별하기 어렵고, 다수 모델의 가중치(학습 내용을 나타내는 수치)는 공개되지 않습니다. 가중치를 확보해도 같은 모델을 실행해 대조하려면 일반 이용자나 평가 기관이 감당하기 어려운 규모의 연산 자원이 필요합니다.

FlashProve는 계산이 올바르다는 점을 내용을 공개하지 않고 짧은 증명으로 보이는 암호 기술인 영지식 간결 비대화형 지식 논증(zkSNARK)을 사용합니다. 모델 제공자는 가중치에 대응하는 짧은 ‘지문’인 커미트먼트를 미리 공개하고, 응답마다 해당 가중치의 모델이 입력 프롬프트에서 그 출력을 생성했다는 증명 파일을 만듭니다. 수신자는 GPU가 없는 PC에서도 검증할 수 있으며, 다른 모델이 만든 출력이면 검증에 실패합니다. 증명으로 가중치가 유출되지는 않지만 모델 아키텍처는 숨겨지지 않습니다.

Anthropic은 제3자 평가 기관의 모델 동일성 확인, 추론 서버가 침해됐을 때의 변조 탐지, 승인된 모델만 제공하도록 하는 규제 준수 확인을 활용 사례로 제시했습니다. 회사는 ‘Frontier Safety Roadmap’에서 특정 모델의 가중치와 출력을 연결해 검증하는 기술의 시제품을 9월 30일까지 개발하겠다는 목표를 세운 바 있습니다. Anthropic은 추론 트래픽에 서명하고 신뢰할 수 있는 서버에서 재계산하는 별도 프로젝트로 이 목표를 달성했으며, FlashProve는 같은 목적을 다른 방식으로 추구한다고 설명했습니다.

검증 시험에는 Meta의 Llama 4 Maverick을 사용했습니다. 이 모델은 매개변수 4000억 개의 혼합 전문가 모델(MoE)이며, 시험에는 4비트 양자화 버전이 쓰였습니다. NVIDIA H100 GPU 1개에서 초당 약 110토큰의 증명을 생성했고, 1024토큰 요청당 증명 크기는 약 19MB였습니다. 24코어 CPU로 검증하는 데는 약 17초가 걸렸습니다. 일반 추론보다 GPU 시간이 약 70~95배 더 들지만, 같은 모델을 대상으로 한 기존 오픈소스 방식은 1000토큰 증명에 14.3시간이 걸리고 증명 크기가 93.6GB였다고 Anthropic은 밝혔습니다.

Anthropic에 따르면 기존 방식보다 성능을 개선하는 과정에서 Claude를 사용했고, 실행 코드 대부분도 AI가 생성했습니다. 회사는 대규모 복잡 시스템은 판단의 타당성을 평가하기 어렵다고 보고, 보안상 핵심 속성을 형식 검증 언어 Lean으로 수학적으로 증명해 제3자가 감사할 수 있도록 공개했습니다.

FlashProve는 연구용 시제품으로, 현재는 혼합 전문가 모델만 지원하고 처리할 수 있는 컨텍스트는 1024토큰까지입니다. 증명 대상은 정수화한 모델이며, 확률이 가장 높은 토큰을 항상 선택하는 greedy decoding을 전제로 합니다. 응답을 보낸 뒤 증명을 생성하므로 사전에 변조를 막는 대신 사후에 탐지합니다.