일본 AI 안전성 연구소(AISI)는 AI 모델의 안전성을 측정하는 자체 벤치마크 평가를 2026회계연도 내 마칠 계획입니다. 무라카미 아키코 소장은 평가 대상 모델과 벤치마크 공개 범위를 검토 중이라고 밝혔습니다. 공개 모델을 폭넓게 평가하려는 한편, 평가 방법을 모두 공개하면 악의적 이용자가 이를 파악해 악용할 우려가 있다고 설명했습니다.

2024년 2월 출범한 AISI는 관계 부처 및 해외 유사 기관과 협력해 AI 안전 기준과 평가 방법을 마련하고 있습니다. 무라카미 소장은 10월 7일 사업자 등이 실증 실험 성과를 공유하는 자리에서 신뢰할 수 있는 AI의 보급, AI 분야 경쟁력 강화, AI 개발·보급에 따른 국가 안보 위협 억제를 AISI의 목표로 제시했습니다. 활동은 안전 기준이 되는 벤치마크 마련, 모델과 시스템을 자체 평가하는 역량 구축, AI 관련 정보 수집·분석·제공, 국제 협력 주도와 국제 경쟁력 강화 등 4개 분야입니다. 안전 문제 사례가 잇따른 뒤 대응하는 것만으로는 늦을 수 있어, 실증 실험 성과 공유 등을 통해 선제적으로 논의해야 한다고 말했습니다.

AISI는 영국 AISI의 평가 도구인 Inspect와 공개 벤치마크를 활용한 검증을 이미 진행했습니다. 앞으로 다수의 모델을 지속적으로 평가하는 체계를 갖추고, AI 에이전트와 피지컬 AI를 염두에 둔 실제 구현 단계의 안전성 평가도 강화할 방침입니다. 하네스 등을 포함해 검증하는 방안을 고려하고 있지만, 평가 대상과 벤치마크 공개 범위는 아직 정해지지 않았습니다.

잇따른 사이버 공격과 관련해 무라카미 소장은 10월 7일 취재 당시 AI가 관여했다는 증거는 없다고 밝혔습니다. 다만 AI가 취약점을 찾아내는 속도를 높이고 있다는 점은 사실이라고 말했습니다. 공격자의 속도에 대응하려면 방어 측도 AI를 활용해야 한다며, AI는 사람보다 빠른 속도로 24시간 365일 작동할 수 있다고 설명했습니다. AISI 단독으로 공격 대책을 맡기 어려워 사이버보안 전문기관과의 협력을 검토하고 있습니다. 외부에서 사고에 AI가 쓰였는지 판별하기 어렵기 때문에 기존 사이버보안 사고 보고 체계를 활용하면서, 공격 기법과 AI 역량은 AISI도 추적할 방침입니다.

일본 AI 안전성 연구소(AISI)는 AI 모델의 안전성을 측정하는 자체 벤치마크 평가를 2026회계연도 내 마칠 계획입니다. 무라카미 아키코 소장은 평가 대상 모델과 벤치마크 공개 범위를 검토 중이라고 밝혔습니다. 공개 모델을 폭넓게 평가하려는 한편, 평가 방법을 모두 공개하면 악의적 이용자가 이를 파악해 악용할 우려가 있다고 설명했습니다.

2024년 2월 출범한 AISI는 관계 부처 및 해외 유사 기관과 협력해 AI 안전 기준과 평가 방법을 마련하고 있습니다. 무라카미 소장은 10월 7일 사업자 등이 실증 실험 성과를 공유하는 자리에서 신뢰할 수 있는 AI의 보급, AI 분야 경쟁력 강화, AI 개발·보급에 따른 국가 안보 위협 억제를 AISI의 목표로 제시했습니다. 활동은 안전 기준이 되는 벤치마크 마련, 모델과 시스템을 자체 평가하는 역량 구축, AI 관련 정보 수집·분석·제공, 국제 협력 주도와 국제 경쟁력 강화 등 4개 분야입니다. 안전 문제 사례가 잇따른 뒤 대응하는 것만으로는 늦을 수 있어, 실증 실험 성과 공유 등을 통해 선제적으로 논의해야 한다고 말했습니다.

AISI는 영국 AISI의 평가 도구인 Inspect와 공개 벤치마크를 활용한 검증을 이미 진행했습니다. 앞으로 다수의 모델을 지속적으로 평가하는 체계를 갖추고, AI 에이전트와 피지컬 AI를 염두에 둔 실제 구현 단계의 안전성 평가도 강화할 방침입니다. 하네스 등을 포함해 검증하는 방안을 고려하고 있지만, 평가 대상과 벤치마크 공개 범위는 아직 정해지지 않았습니다.

잇따른 사이버 공격과 관련해 무라카미 소장은 10월 7일 취재 당시 AI가 관여했다는 증거는 없다고 밝혔습니다. 다만 AI가 취약점을 찾아내는 속도를 높이고 있다는 점은 사실이라고 말했습니다. 공격자의 속도에 대응하려면 방어 측도 AI를 활용해야 한다며, AI는 사람보다 빠른 속도로 24시간 365일 작동할 수 있다고 설명했습니다. AISI 단독으로 공격 대책을 맡기 어려워 사이버보안 전문기관과의 협력을 검토하고 있습니다. 외부에서 사고에 AI가 쓰였는지 판별하기 어렵기 때문에 기존 사이버보안 사고 보고 체계를 활용하면서, 공격 기법과 AI 역량은 AISI도 추적할 방침입니다.