RSI: 스스로 진화하는 AI는 어떤 미래를 만들까?

작성자: Lucy.·2026년 11월 20일 (금)
RSI: 스스로 진화하는 AI는 어떤 미래를 만들까?

AI가 자신보다 더 뛰어난 AI를 만들고, 그 AI가 다시 더 뛰어난 AI를 만든다면 어떤 일이 벌어질까요?

이런 변화가 반복되면 인류가 오랫동안 풀지 못한 과학 문제를 해결하는 속도가 빨라질 수 있습니다. 동시에 AI의 발전 속도를 사람이 따라가지 못하고, 결국 통제하기 어려워질 수 있다는 우려도 나옵니다.

2026년 제프리 힌턴(Geoffrey Hinton), 요슈아 벤지오(Yoshua Bengio) 등 연구자들은 AI 연구개발의 자동화가 예상보다 빠른 능력 향상으로 이어질 가능성을 살펴본 논문을 발표했습니다. 연구자들은 이러한 미래가 언제, 어떤 형태로 나타날지는 불확실하지만 인간의 통제와 사회의 대응 능력에 큰 영향을 줄 수 있다고 지적했습니다.

이처럼 AI가 자신의 발전에 기여하고 그 결과를 다시 다음 발전에 활용하는 개념을 재귀적 자기 개선, RSI(Recursive Self-Improvement)라고 합니다.

2026년 11월 11일 서울에서 열린 DEEP DIVE INTO 2026에서 사카나 AI(Sakana AI)의 연구원 스테파니아 드루가(Stefania Druga)는 스스로 발견하고, 학습하고, 진화하는 AI를 향한 연구를 소개했습니다. 이 발표를 바탕으로 RSI의 원리와 가능성, 우리가 함께 생각해야 할 질문을 살펴보겠습니다.

스스로 진화하는 AI란?

원형 경로를 따라 진화하는 기계 물고기

오늘날 새로운 AI 모델이 나오기까지는 많은 사람의 연구가 필요합니다. 연구자들은 모델의 구조를 설계하고, 학습 방법을 바꾸고, 실험 결과를 비교하며 더 나은 방법을 찾습니다.

RSI는 AI가 이 과정의 일부 또는 상당 부분을 수행하고, 그 결과 향상된 AI가 다시 자신의 개선에 기여하는 순환을 가리킵니다.

예를 들어 AI가 기존 모델보다 효율적인 학습 방법을 찾아냈다고 해보겠습니다. 그 방법으로 더 뛰어난 AI를 만들고, 새 AI가 다시 더 좋은 학습 방법을 연구합니다. 이 과정이 반복되면 개선된 AI가 다음 개선을 이끄는 구조가 만들어집니다.

이 과정은 한 번의 답변을 수정하는 데서 끝나지 않습니다. 개선의 결과가 이후 AI의 능력과 다음 연구 과정에 영향을 주어야 합니다.

다만 자기 개선이 일어나는 범위는 다양합니다. AI가 사용하는 도구나 프로그램을 고치는 연구도 있고, AI 모델을 학습시키는 방법을 찾는 연구도 있습니다. AI가 자신의 기반 기술을 더 넓은 범위에서 지속적으로 발전시키는 것은 아직 연구 목표로 남아 있습니다.


Sakana AI는 어떤 회사일까?

물고기 무리로 표현한 집단지능

Sakana AI는 2023년 일본 도쿄에서 설립된 AI 연구개발 기업입니다. 데이비드 하(David Ha), 리온 존스(Llion Jones), 이토 렌(Ren Ito)이 공동 창업했습니다.

‘사카나’는 일본어로 물고기를 뜻합니다. 이 이름에는 물고기들이 무리를 이루어 움직이듯, 여러 개체의 상호작용과 협력에서 나타나는 집단지능을 AI 연구에 활용하겠다는 생각이 담겨 있습니다.

Sakana AI는 자연의 진화 과정에도 주목합니다. 하나의 거대한 모델을 만드는 데 그치지 않고, 다양한 AI와 아이디어를 만들고 조합하며 유용한 결과를 찾아내는 방법을 연구합니다. AI가 과학 연구를 수행하도록 돕는 AI 사이언티스트(The AI Scientist)와 자신의 코드를 수정하며 발전하는 다윈 괴델 머신(Darwin Gödel Machine)이 대표적인 사례입니다.

2026년 6월에는 AI를 이용해 AI 개발 과정 자체를 발전시키는 연구 조직인 RSI Lab을 출범했습니다. 드루가는 서울 발표에서 이 연구가 더 적은 계산 자원으로도 AI의 적응과 발전을 이끌어 낼 가능성에 주목한다고 설명했습니다.


AI는 어떻게 스스로 개선할까?

서로 다른 진화 경로로 뻗어나가는 기계 물고기

Sakana AI가 브리티시컬럼비아대학교 연구진과 함께 개발한 다윈 괴델 머신은 자기 개선을 구체적으로 살펴볼 수 있는 사례입니다.

이 시스템은 코딩 문제를 해결하는 AI 에이전트입니다. 연구진은 에이전트가 자신의 프로그램을 읽고 수정한 뒤, 변경된 버전이 문제를 더 잘 푸는지 시험하도록 만들었습니다.

예를 들어 파일을 살펴보는 도구를 바꾸거나, 여러 해결책을 만든 뒤 비교하는 절차를 추가할 수 있습니다. 새로 만들어진 에이전트는 코딩 문제로 평가받고, 그 결과는 이후 다른 버전을 만드는 데 활용됩니다.

자연의 진화처럼 여러 경로를 탐색합니다. 여러 버전을 보관해 두고 각각에서 다른 개선을 시도합니다. 당장은 성능이 낮은 버전도 나중에 더 좋은 해결책을 찾는 출발점이 될 수 있기 때문입니다.

단계다윈 괴델 머신이 하는 일
수정기존 에이전트의 코드나 도구를 바꿉니다.
평가수정한 버전이 코딩 문제를 얼마나 잘 푸는지 시험합니다.
보관여러 버전과 평가 결과를 남깁니다.
반복보관한 버전을 바탕으로 새로운 수정을 시도합니다.

Sakana AI가 공개한 실험에서 다윈 괴델 머신은 소프트웨어 문제 해결 평가인 SWE-bench의 점수를 초기 20%에서 50%로 높였습니다.

이 실험에서 개선된 것은 기반 언어 모델의 지능 자체라기보다, 모델을 활용하는 코딩 에이전트의 코드와 작동 방식입니다. 그럼에도 AI가 자신의 일부를 수정하고 평가 결과를 다음 개선에 활용했다는 점에서, 더 넓은 범위의 자기 개선을 향한 연구 사례로 볼 수 있습니다.


AI for Science: AI가 발견을 앞당기는 시대

분자 구조를 살펴보는 물고기형 연구 장비

AI가 AI를 발전시키려면 먼저 연구라는 활동에 참여할 수 있어야 합니다. 가설을 세우고, 실험을 설계하고, 결과를 해석하며 새로운 가능성을 찾아야 하기 때문입니다.

이와 맞닿아 있는 분야가 AI for Science, 즉 AI를 활용한 과학 연구입니다. 최근에는 Sakana AI뿐 아니라 OpenAI와 앤트로픽(Anthropic)도 수학과 생물학 등에서 AI가 연구에 기여한 사례를 공개하고 있습니다.

Sakana AI의 AI 사이언티스트는 연구 아이디어를 만들고, 코드를 작성해 실험을 수행하며, 결과를 논문 형태로 정리하는 시스템입니다. 최신 연구인 AI 사이언티스트 v3는 여러 코딩 에이전트를 조율하며 사람이 연구를 수행할 때 협력하는 방식으로도 활용할 수 있습니다.

이전 버전인 v2가 작성한 논문 한 편은 AI 학회 워크숍의 사람 심사에서 수락 기준을 넘었습니다. 연구진은 사전에 정한 방침에 따라 해당 논문을 출판 전에 철회했습니다. 연구 과정을 자동화할 가능성을 보여줬지만, 연구의 정확성과 가치를 검증하는 일은 여전히 중요합니다.

OpenAI는 수학 연구 사례를 공개했습니다. 2026년 5월, OpenAI는 내부 모델이 평면 위의 점들 사이의 거리에 관한 오랜 수학적 추측을 반박하는 증명을 만들었다고 발표했습니다. OpenAI에 따르면 외부 수학자들이 증명을 검토했고, 별도의 해설 논문도 작성했습니다.

앤트로픽은 생물학 연구 사례를 발표했습니다. 연구진의 방향 설정 아래 Claude가 DNA 데이터를 분석해 크리스퍼(CRISPR)를 연상시키는 특징을 가진 효소 시스템을 찾아냈다는 내용입니다. 앤트로픽은 해당 시스템이 어떤 기능을 하는지는 아직 밝혀지지 않았으며 추가 연구가 필요하다고 설명했습니다.

세 사례의 공통점은 AI가 문헌을 요약하거나 글을 쓰는 데 그치지 않고, 연구에 필요한 후보와 아이디어를 찾는 과정에도 참여한다는 것입니다.

물론 AI를 과학 연구에 활용하는 모든 사례가 RSI는 아닙니다. AI가 새로운 효소를 찾았다고 해서 그 AI 자체가 스스로 진화한 것은 아닙니다. 다만 AI가 연구를 수행하는 능력이 높아지고, 그 능력을 다시 AI 개발에 적용할 수 있다면 RSI에 필요한 순환이 점차 구체화될 수 있습니다.


디지털 세계를 넘어 로봇까지

기계 물고기 로봇과 가상 동작을 표현한 삽화

드루가는 발표에서 자기 개선 연구가 로봇과 같은 물리적 AI로 확장될 가능성도 소개했습니다.

로봇은 현실에서 행동해야 하므로, 화면 속 AI와는 다른 어려움이 있습니다. 물체의 위치가 조금만 달라져도 동작이 실패할 수 있고, 잘못된 행동은 실제 사고로 이어질 수 있습니다.

이를 위해 연구자들이 주목하는 기술 중 하나가 세계 모델(World Model)입니다. 세계 모델은 특정 행동을 했을 때 주변 환경이 어떻게 변할지 예측하는 데 쓰입니다. 로봇이 팔을 움직이기 전에 가상 환경에서 그 결과를 시험해 보는 것입니다.

드루가는 자신의 연구에서 로봇의 실패 기록을 바탕으로 제어 방식을 개선하고, 서랍을 열거나 물체를 놓는 작업을 시뮬레이션에서 시험했다고 설명했습니다. 발표 당시에는 실제 로봇을 이용한 검증을 기다리는 단계였습니다.

여기서 핵심은 실패 기록을 다음 시도에 활용하는 것입니다. 로봇이 어떤 위치에 있었는지, 어떤 동작을 했는지, 카메라에는 무엇이 보였는지를 기록하면 다음 시도를 개선할 단서를 찾을 수 있습니다.

이런 연구가 발전하면 제조 현장의 로봇이나 실험실 장비가 더 다양한 상황에 적응하는 데 도움이 될 수 있습니다. 다만 가상 환경에서 성공한 결과가 현실에서도 안전하게 작동하는지는 별도로 확인해야 합니다.


AI의 진화와 우리가 선택할 미래

두 갈래 해류를 바라보는 기계 물고기가 나타내는 AI의 미래

스스로 발전하는 AI는 과학자가 더 많은 가설을 시험하고, 기업이 복잡한 연구개발을 앞당기도록 도울 수 있습니다. 하지만 AI의 발전 속도와 방향을 사람이 이해하고 통제할 수 있을지에 대한 우려도 커지고 있습니다.

제프리 힌턴과 요슈아 벤지오 등이 참여한 2026년 논문은 AI가 AI 연구개발을 자동화하면서 수년에 걸칠 발전이 훨씬 짧은 시간에 일어나는 지능 폭발의 가능성을 살펴봤습니다. 연구자들은 AI의 능력이 사회의 대응보다 빠르게 커지면 안전성을 평가하거나 인간의 통제를 유지하기 어려울 수 있다고 지적했습니다.

이런 미래가 반드시 찾아온다고 단정할 수는 없습니다. 자기 개선이 어디까지 가능하고 얼마나 빠르게 진행될지는 아직 연구가 필요한 질문입니다. 다만 AI가 더 많은 연구와 의사결정에 관여할수록, 사람이 결과를 검증하고 필요할 때 개입할 방법도 함께 발전해야 합니다.

드루가는 발표에서 자기 개선 시스템을 볼 때 무엇이 개선됐고, 어떻게 확인했으며, 새로운 상황에서도 그 개선이 유지되는지 질문해야 한다고 강조했습니다. AI가 얼마나 빠르게 진화하는지만큼, 그 진화가 어떤 문제를 해결하고 누구에게 도움이 되는지도 함께 살펴봐야 합니다.

카톡 문의