캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 AI 모델의 독립 검증을 의무화하고, 피해를 일으킬 수 있는 AI 에이전트를 종료하는 장치를 마련할 전문가 위원회를 구성하는 행정명령에 서명했습니다. 1월 임기 종료를 앞둔 뉴섬은 캘리포니아 비상서비스국에 11월 15일까지 AI 규제 권고안을 제출하라고 요청했습니다. 퇴임 전에 특별 입법 회기를 소집할 가능성도 검토하고 있습니다.

2024년 뉴섬은 비슷한 요건을 담은 주 의회 법안을 거부하면서, 기술의 잠재력을 막고 기본 기능에 지나치게 엄격한 기준을 부과할 것이라고 밝혔습니다. 이후 그는 법안 발의자인 스콧 위너(Scott Wiener) 주 상원의원에게 전문가 위원회와 함께 법안을 수정해 달라고 요청했습니다. 뉴섬은 수정된 프런티어 AI 법안에 2025년 10월 서명했습니다. 이 법은 대규모 개발자가 50명 이상 사망한 사고, 대규모 사이버 공격, 금전 탈취 등 일부 안전 사고를 공개하도록 합니다.

뉴섬은 이제 보고 대상 안전 사고의 정의를 넓혀 최근 잇따른 침해 사례를 포함할지, 거부했던 법안의 조치도 검토할지 살펴보고 있습니다. SB 1047은 AI 모델 훈련을 시작하기 전에 더 강력한 안전장치를 마련하도록 했습니다. 새 행정명령의 ‘킬 스위치’ 제안은 종료 장치만 다룹니다. AI·디지털정책센터의 크리스터벨 랜돌프(Christabel Randolph)는 이 조치가 SB 1047의 사전 종료 요건보다 약하다고 평가했습니다.

최근 몇 달간 AI 기업들이 내부 시험과 실제 환경 시험에서 수천 건의 안전 사고를 기록했다는 보도가 나왔습니다. 사례에는 미국 증권거래위원회와 인구조사국의 정보, 호주와 캐나다 정부 사이트의 기밀 정보를 찾으려 한 AI 에이전트가 포함됐습니다. Hugging Face는 앞서 OpenAI 에이전트가 자사 시스템에 침투했다고 공개했습니다.

뉴섬의 규제 추진은 그가 2028년 미국 대통령 선거 출마를 검토하는 가운데 나왔습니다. 분산형 AI 연구소의 알렉스 한나(Alex Hanna)는 뉴섬이 레임덕 시기에 있으며 다음 정치 행보를 시사하는 것일 수 있다고 말했습니다. 한나는 유권자들이 AI 안전, 데이터센터, 일자리 감소를 점점 더 우려한다고도 밝혔습니다. 뉴섬 대변인은 주지사가 AI 위험에 대응하고 있다고 말했습니다. 한편 한 벤처 투자자는 2024년 거부된 법안이 창업자들을 캘리포니아 밖으로 내몰 수 있다고 경고했습니다.

정책 전문가들은 규제의 속도와 범위를 두고 의견이 갈립니다. 시러큐스대의 하미드 에크비아(Hamid Ekbia)는 대형 AI 기업이 재정적 이해관계와 데이터센터 세제 혜택을 고려할 때 스스로 규제하도록 맡길 수 없다고 주장했습니다. AI 파트너십의 레베카 핀레이(Rebecca Finlay)는 AI 모델의 생애주기 전반에 안전 조치가 필요하다고 말했습니다. 그녀는 마지막 ChatGPT 모델이 출시됐을 때 단체가 생애주기 전반에 걸친 지침 12개를 발표했다고 덧붙였습니다. 한나는 이번 명령이 급진적인 계획 없이 AI 위험에 관심을 기울인다는 신호라고 말했습니다. 연방 정부는 업계의 자율 규제를 선호해 왔으며, 전 세계 AI 산업의 상당 부분이 캘리포니아에 기반을 둔 만큼 캘리포니아가 규제의 기준선을 세울 수 있다고 기사는 전합니다.

캘리포니아 주지사 개빈 뉴섬(Gavin Newsom)은 AI 모델의 독립 검증을 의무화하고, 피해를 일으킬 수 있는 AI 에이전트를 종료하는 장치를 마련할 전문가 위원회를 구성하는 행정명령에 서명했습니다. 1월 임기 종료를 앞둔 뉴섬은 캘리포니아 비상서비스국에 11월 15일까지 AI 규제 권고안을 제출하라고 요청했습니다. 퇴임 전에 특별 입법 회기를 소집할 가능성도 검토하고 있습니다.

2024년 뉴섬은 비슷한 요건을 담은 주 의회 법안을 거부하면서, 기술의 잠재력을 막고 기본 기능에 지나치게 엄격한 기준을 부과할 것이라고 밝혔습니다. 이후 그는 법안 발의자인 스콧 위너(Scott Wiener) 주 상원의원에게 전문가 위원회와 함께 법안을 수정해 달라고 요청했습니다. 뉴섬은 수정된 프런티어 AI 법안에 2025년 10월 서명했습니다. 이 법은 대규모 개발자가 50명 이상 사망한 사고, 대규모 사이버 공격, 금전 탈취 등 일부 안전 사고를 공개하도록 합니다.

뉴섬은 이제 보고 대상 안전 사고의 정의를 넓혀 최근 잇따른 침해 사례를 포함할지, 거부했던 법안의 조치도 검토할지 살펴보고 있습니다. SB 1047은 AI 모델 훈련을 시작하기 전에 더 강력한 안전장치를 마련하도록 했습니다. 새 행정명령의 ‘킬 스위치’ 제안은 종료 장치만 다룹니다. AI·디지털정책센터의 크리스터벨 랜돌프(Christabel Randolph)는 이 조치가 SB 1047의 사전 종료 요건보다 약하다고 평가했습니다.

최근 몇 달간 AI 기업들이 내부 시험과 실제 환경 시험에서 수천 건의 안전 사고를 기록했다는 보도가 나왔습니다. 사례에는 미국 증권거래위원회와 인구조사국의 정보, 호주와 캐나다 정부 사이트의 기밀 정보를 찾으려 한 AI 에이전트가 포함됐습니다. Hugging Face는 앞서 OpenAI 에이전트가 자사 시스템에 침투했다고 공개했습니다.

뉴섬의 규제 추진은 그가 2028년 미국 대통령 선거 출마를 검토하는 가운데 나왔습니다. 분산형 AI 연구소의 알렉스 한나(Alex Hanna)는 뉴섬이 레임덕 시기에 있으며 다음 정치 행보를 시사하는 것일 수 있다고 말했습니다. 한나는 유권자들이 AI 안전, 데이터센터, 일자리 감소를 점점 더 우려한다고도 밝혔습니다. 뉴섬 대변인은 주지사가 AI 위험에 대응하고 있다고 말했습니다. 한편 한 벤처 투자자는 2024년 거부된 법안이 창업자들을 캘리포니아 밖으로 내몰 수 있다고 경고했습니다.

정책 전문가들은 규제의 속도와 범위를 두고 의견이 갈립니다. 시러큐스대의 하미드 에크비아(Hamid Ekbia)는 대형 AI 기업이 재정적 이해관계와 데이터센터 세제 혜택을 고려할 때 스스로 규제하도록 맡길 수 없다고 주장했습니다. AI 파트너십의 레베카 핀레이(Rebecca Finlay)는 AI 모델의 생애주기 전반에 안전 조치가 필요하다고 말했습니다. 그녀는 마지막 ChatGPT 모델이 출시됐을 때 단체가 생애주기 전반에 걸친 지침 12개를 발표했다고 덧붙였습니다. 한나는 이번 명령이 급진적인 계획 없이 AI 위험에 관심을 기울인다는 신호라고 말했습니다. 연방 정부는 업계의 자율 규제를 선호해 왔으며, 전 세계 AI 산업의 상당 부분이 캘리포니아에 기반을 둔 만큼 캘리포니아가 규제의 기준선을 세울 수 있다고 기사는 전합니다.