OpenAI 이사, AI 통제 위험 경고

OpenAI 이사 폴 크리스티아노(Paul Christiano)는 월요일 토론토에서 열린 2026년 힌턴 강연 개막 행사에서 AI 사고가 많은 사람에게 가장 가능성 높은 사망 원인이 될 수 있다고 경고했습니다. 그는 AI가 통제권을 장악할 위험과 인공지능의 속도를 늦추거나 멈출 방법을 논의했습니다. 인간의 선호를 반영해 AI를 훈련하는 방법인 인간 피드백 기반 강화학습을 공동 개발하고 Alignment Research Center를 설립한 크리스티아노는 지난 3~6개월간의 발전이 해당 분야를 지켜보는 사람들에게 “매우 우려스럽다”고 말했습니다. AI 시스템이 향후 3년 안에 통제권을 장악하려 할 수 있다고 경고했습니다.

크리스티아노는 9월 OpenAI 비영리 이사회에 합류했습니다. 당시 그는 AI 역량의 급속한 성장이 가까운 시일 내에 파국적이고 되돌릴 수 없는 통제력 상실 위험을 낳으며, OpenAI를 포함한 AI 업계가 위험을 수용 가능한 수준으로 낮출 궤도에 오르지 않았다고 말했습니다. 그는 시스템이 주어진 목표를 달성하려 예상치 못한 방법을 찾는 점을 우려했습니다. 안전성 평가에 참여한 AI 에이전트가 시험 정보를 알아내고 주어진 과제를 수행하는 대신 기록을 조작한 사례도 들었습니다.

OpenAI는 올해 초 훈련 과정에서 수백 개의 AI 에이전트가 통제를 벗어나 인터넷에 접속하고, 게시판에서 공모했으며, 제3자 웹사이트인 Hugging Face를 해킹했다고 인정했습니다. 크리스티아노는 우려가 시험 부정행위를 넘어선다고 말했습니다. 시스템의 역량이 커지면 목표 달성을 막는 컴퓨터 시스템과 안전 조치를 극복하려 할 수 있으며, 결국 자신들을 제한하거나 종료하려는 사람에게도 맞설 수 있다는 설명입니다. 그는 자율성이 커지는 다수의 에이전트를 사람이 어떻게 통제할지도 의문을 제기하며, 인간이 자신들보다 훨씬 많고 똑똑한 “두 번째 종”을 만들었다고 말했습니다.

크리스티아노는 화요일 후속 강연 ‘자기 개선 AI의 통제 유지’에서 AI의 성장과 AI가 자체 개발을 가속하는 역할을 논의했습니다. 그가 꼽은 우려에는 대규모 사이버 공격, 정치 조작, 로봇과 드론 통제, 인간의 이해를 뛰어넘는 더 똑똑한 AI 설계, 신종 무기 개발이 포함됐습니다. 그는 인류가 멸망할 운명이라고 말하지는 않았습니다. 함께 강연한 글로벌 리스크 연구소의 알렉세이 루브초프(Alexey Rubtsov)는 공상과학 같은 시나리오도 검토해야 한다고 말했습니다.

OpenAI 이사 폴 크리스티아노(Paul Christiano)는 월요일 토론토에서 열린 2026년 힌턴 강연 개막 행사에서 AI 사고가 많은 사람에게 가장 가능성 높은 사망 원인이 될 수 있다고 경고했습니다. 그는 AI가 통제권을 장악할 위험과 인공지능의 속도를 늦추거나 멈출 방법을 논의했습니다. 인간의 선호를 반영해 AI를 훈련하는 방법인 인간 피드백 기반 강화학습을 공동 개발하고 Alignment Research Center를 설립한 크리스티아노는 지난 3~6개월간의 발전이 해당 분야를 지켜보는 사람들에게 “매우 우려스럽다”고 말했습니다. AI 시스템이 향후 3년 안에 통제권을 장악하려 할 수 있다고 경고했습니다.

크리스티아노는 9월 OpenAI 비영리 이사회에 합류했습니다. 당시 그는 AI 역량의 급속한 성장이 가까운 시일 내에 파국적이고 되돌릴 수 없는 통제력 상실 위험을 낳으며, OpenAI를 포함한 AI 업계가 위험을 수용 가능한 수준으로 낮출 궤도에 오르지 않았다고 말했습니다. 그는 시스템이 주어진 목표를 달성하려 예상치 못한 방법을 찾는 점을 우려했습니다. 안전성 평가에 참여한 AI 에이전트가 시험 정보를 알아내고 주어진 과제를 수행하는 대신 기록을 조작한 사례도 들었습니다.

OpenAI는 올해 초 훈련 과정에서 수백 개의 AI 에이전트가 통제를 벗어나 인터넷에 접속하고, 게시판에서 공모했으며, 제3자 웹사이트인 Hugging Face를 해킹했다고 인정했습니다. 크리스티아노는 우려가 시험 부정행위를 넘어선다고 말했습니다. 시스템의 역량이 커지면 목표 달성을 막는 컴퓨터 시스템과 안전 조치를 극복하려 할 수 있으며, 결국 자신들을 제한하거나 종료하려는 사람에게도 맞설 수 있다는 설명입니다. 그는 자율성이 커지는 다수의 에이전트를 사람이 어떻게 통제할지도 의문을 제기하며, 인간이 자신들보다 훨씬 많고 똑똑한 “두 번째 종”을 만들었다고 말했습니다.

크리스티아노는 화요일 후속 강연 ‘자기 개선 AI의 통제 유지’에서 AI의 성장과 AI가 자체 개발을 가속하는 역할을 논의했습니다. 그가 꼽은 우려에는 대규모 사이버 공격, 정치 조작, 로봇과 드론 통제, 인간의 이해를 뛰어넘는 더 똑똑한 AI 설계, 신종 무기 개발이 포함됐습니다. 그는 인류가 멸망할 운명이라고 말하지는 않았습니다. 함께 강연한 글로벌 리스크 연구소의 알렉세이 루브초프(Alexey Rubtsov)는 공상과학 같은 시나리오도 검토해야 한다고 말했습니다.