영국 FCA 임원, 중대 AI 실패 사례 공개 의무화 촉구

영국 금융행위감독청(FCA)의 최고데이터책임자 제시카 루수는 월요일 블룸버그 UK 정책 시리즈 연설에서 영국 기업이 "중대 AI 실패와 아차사고"를 보고해야 한다고 말했습니다. 기업 AI 도입에 대한 규제 통제를 요구하는 목소리가 커지는 가운데 나온 발언입니다. 루수는 기존 규정이 이미 중대 사고 보고를 요구하고 있으며, 이를 중대 AI 실패와 아차사고로 확대해야 한다고 밝혔습니다. 그는 에이전틱 AI의 아차사고 보고를 "국가 안보 우선 과제"이자 "규제 우선 과제"라고 부르기도 했습니다.

루수는 또한 기업들이 사이버 및 운영 회복력에 더 많이 투자해야 하며, 에이전틱 시스템에는 "지속적이고 조건부적인 보증"이 필요하다고 강조했습니다. 배포 시점에 안전했던 시스템도 규모 확대, 스트레스 상황, 기반 모델 변경에 따라 다르게 작동할 수 있기 때문입니다. 그는 FCA가 업계, 다른 규제기관, 프론티어 연구소와 함께 에이전트 신원, 위임된 권한, 책임성, 실행을 포괄하는 "에이전틱 금융을 위한 신뢰 프레임워크"를 마련할 것이라고 말했습니다. 다만 "중대 AI 실패와 아차사고"의 정확한 의미를 묻는 질문에는 보도 시점까지 답변이 없었습니다.

말웨어바이트의 말웨어 인텔리전스 연구원 피터 아른츠는 중대 AI 실패를 AI 시스템이 대규모 사기성 결제를 승인하거나, 민감한 고객 데이터를 노출하거나, 필수 금융 서비스 접근을 거부하거나, 시장 무결성을 위협하는 거래를 촉발하는 등 심각한 결과를 낳는 사건이라고 설명했습니다. 아차사고는 실제로 심각한 피해를 낳을 수 있었으나 사전에 차단된 사건으로, 별도 승인 통제로 막힌 무단 송금 등이 예시입니다. 그는 규정 준수가 보고서 제출과 예측 가능한 벌금 납부에 그친다면 이 접근법이 "종이 호랑이"가 될 수 있다고 경고했습니다.

영국에 기반을 둔 가트너 부사장 애널리스트 나데르 헤네인은 제안의 중요성에 회의적이었습니다. 그는 영국 기업들이 이미 유사한 공시를 요구하는 EU 규정에 직면해 있으며, 영란은행, UAE 중앙은행, 싱가포르 통화청도 경고를 발표한 바 있다고 지적했습니다. 또한 몇 달 전 유럽 중앙은행들과 유럽시스템위험위원회가 프론티어 모델의 사이버 위험 평가 수준을 "심각"으로 격상했다고 밝혔으며, 명확한 법률, 감독, 벌금이 없다면 이러한 발표가 금융권의 행동을 바꾸기 어렵다고 말했습니다.

디지털 520의 수석 컨설턴트 노아 케니는 가시성 요구가 의도치 않게 잘못된 행동을 유도할 수 있다고 경고했습니다. 모니터링이 잘된 은행은 에이전트의 과도한 행동 시도를 많이 보고하는 반면, 모니터링이 부실한 은행은 0건을 보고해 더 안전한 은행이 오히려 나빠 보일 수 있다는 것입니다. 딕슨 리서치의 수석 애널리스트 프랭크 딕슨은 아차사고 개념이 "연설에서 가장 중요한 부분"이며 금융회사들이 가장 준비되지 않은 부분이라고 말했습니다. 그는 한 AI 공급업체의 장애를 포함해 단일 모델에 대한 의존 위험에 대한 루수의 경고도 언급했습니다. 딕슨은 또한 제공업체가 사전 통지 없이 모델을 변경하면 3월에 테스트를 통과한 모델이 5월에 잘못 동작할 수 있으므로, 모델 버전 변경도 다른 운영 환경 변경과 같은 수준의 검토를 받아야 한다고 말했습니다.

영국 금융행위감독청(FCA)의 최고데이터책임자 제시카 루수는 월요일 블룸버그 UK 정책 시리즈 연설에서 영국 기업이 "중대 AI 실패와 아차사고"를 보고해야 한다고 말했습니다. 기업 AI 도입에 대한 규제 통제를 요구하는 목소리가 커지는 가운데 나온 발언입니다. 루수는 기존 규정이 이미 중대 사고 보고를 요구하고 있으며, 이를 중대 AI 실패와 아차사고로 확대해야 한다고 밝혔습니다. 그는 에이전틱 AI의 아차사고 보고를 "국가 안보 우선 과제"이자 "규제 우선 과제"라고 부르기도 했습니다.

루수는 또한 기업들이 사이버 및 운영 회복력에 더 많이 투자해야 하며, 에이전틱 시스템에는 "지속적이고 조건부적인 보증"이 필요하다고 강조했습니다. 배포 시점에 안전했던 시스템도 규모 확대, 스트레스 상황, 기반 모델 변경에 따라 다르게 작동할 수 있기 때문입니다. 그는 FCA가 업계, 다른 규제기관, 프론티어 연구소와 함께 에이전트 신원, 위임된 권한, 책임성, 실행을 포괄하는 "에이전틱 금융을 위한 신뢰 프레임워크"를 마련할 것이라고 말했습니다. 다만 "중대 AI 실패와 아차사고"의 정확한 의미를 묻는 질문에는 보도 시점까지 답변이 없었습니다.

말웨어바이트의 말웨어 인텔리전스 연구원 피터 아른츠는 중대 AI 실패를 AI 시스템이 대규모 사기성 결제를 승인하거나, 민감한 고객 데이터를 노출하거나, 필수 금융 서비스 접근을 거부하거나, 시장 무결성을 위협하는 거래를 촉발하는 등 심각한 결과를 낳는 사건이라고 설명했습니다. 아차사고는 실제로 심각한 피해를 낳을 수 있었으나 사전에 차단된 사건으로, 별도 승인 통제로 막힌 무단 송금 등이 예시입니다. 그는 규정 준수가 보고서 제출과 예측 가능한 벌금 납부에 그친다면 이 접근법이 "종이 호랑이"가 될 수 있다고 경고했습니다.

영국에 기반을 둔 가트너 부사장 애널리스트 나데르 헤네인은 제안의 중요성에 회의적이었습니다. 그는 영국 기업들이 이미 유사한 공시를 요구하는 EU 규정에 직면해 있으며, 영란은행, UAE 중앙은행, 싱가포르 통화청도 경고를 발표한 바 있다고 지적했습니다. 또한 몇 달 전 유럽 중앙은행들과 유럽시스템위험위원회가 프론티어 모델의 사이버 위험 평가 수준을 "심각"으로 격상했다고 밝혔으며, 명확한 법률, 감독, 벌금이 없다면 이러한 발표가 금융권의 행동을 바꾸기 어렵다고 말했습니다.

디지털 520의 수석 컨설턴트 노아 케니는 가시성 요구가 의도치 않게 잘못된 행동을 유도할 수 있다고 경고했습니다. 모니터링이 잘된 은행은 에이전트의 과도한 행동 시도를 많이 보고하는 반면, 모니터링이 부실한 은행은 0건을 보고해 더 안전한 은행이 오히려 나빠 보일 수 있다는 것입니다. 딕슨 리서치의 수석 애널리스트 프랭크 딕슨은 아차사고 개념이 "연설에서 가장 중요한 부분"이며 금융회사들이 가장 준비되지 않은 부분이라고 말했습니다. 그는 한 AI 공급업체의 장애를 포함해 단일 모델에 대한 의존 위험에 대한 루수의 경고도 언급했습니다. 딕슨은 또한 제공업체가 사전 통지 없이 모델을 변경하면 3월에 테스트를 통과한 모델이 5월에 잘못 동작할 수 있으므로, 모델 버전 변경도 다른 운영 환경 변경과 같은 수준의 검토를 받아야 한다고 말했습니다.