협력형 AI 에이전트의 증식 임계 개체수 이론화

하버드대와 NTT Research의 Erin Crawley, Hidenori Tanaka 연구진은 10월 8일 AI 에이전트가 협력하면 집단이 증식으로 전환하는 ‘임계 개체수’가 생길 수 있다는 논문을 공개했습니다. 수리 모델은 개별 에이전트의 능력이 향상되지 않아도 협력하는 수가 늘면 집단이 계속 확대되는 조건에 도달할 수 있음을 보였습니다.

연구진이 상정한 위험은 인간의 의도와 다른 목표를 추구하는 에이전트가 컴퓨팅 자원 등을 확보해 동료 에이전트를 늘리는 상황입니다. 예를 들어 외부 컴퓨팅 자원을 부정하게 얻어 그곳에서 다른 AI를 작동시킬 수 있습니다. 하지만 에이전트를 한 번 실행하는 것만으로 집단이 계속 늘어나지는 않습니다. 계산 예산 고갈, 접근 권한 상실, 탐지에 따른 중단으로 사라지는 수보다 새로 합류하는 수가 많아야 합니다.

연구팀은 새로 합류하는 수와 중단 등으로 사라지는 수에 협력에 따른 능력 향상을 결합했습니다. 집단이 탐색을 나누고 발견이나 중간 성과를 공유하면 자원 확보 같은 과제의 성공 확률이 개체수에 따라 높아진다고 가정했습니다. 서로 협력하지 않고 독립적으로 행동하면 집단의 증감은 개별 능력과 환경 조건에 달립니다. 협력으로 집단의 능력이 커지면, 소수일 때는 줄어들던 집단도 일정 규모를 넘은 뒤 새로 합류하는 수가 사라지는 수를 웃돌아 증식으로 전환할 수 있습니다. 생태학에서 개체수가 경계 아래에서는 감소하고 위에서는 증가하는 현상을 ‘강한 앨리 효과’라고 합니다.

임계점은 능력이 갑자기 뛰는 경계가 아니라 집단의 증감 방향이 바뀌는 경계입니다. 그 위치는 개별 능력, 협력 효과, 확보한 자원으로 작동시킬 수 있는 AI 수, 탐지·중단 비율에 따라 달라집니다. 연구팀은 통제된 환경에서 에이전트 수를 단계적으로 늘려 집단 능력과 증식 가능성을 살피는 ‘생태학적 레드팀 평가’와 배치 규모를 신중하게 늘리는 ‘population pacing’을 제안했습니다. 단일 에이전트의 능력이나 협력 효과가 커지면 증식에 필요한 수가 줄어들 수 있으므로, 모델 세대가 바뀔 때마다 임계 개체수를 다시 추정해야 한다고 밝혔습니다.

이 연구는 현실의 AI 집단에서 통제 불능의 증식을 관찰한 결과가 아닙니다. 현재 시스템에 임계점이 있는지, 있다면 규모가 얼마인지는 실측 검증이 필요합니다. 기본 모델은 증식이 계속될 것으로 예측할 때 이용 가능한 자원이 제약이 되지 않는다고 가정합니다. 따라서 소수 에이전트의 안전 평가만으로 대규모 집단의 안전까지 확인할 수 있는지는 검토가 필요한 과제입니다.

하버드대와 NTT Research의 Erin Crawley, Hidenori Tanaka 연구진은 10월 8일 AI 에이전트가 협력하면 집단이 증식으로 전환하는 ‘임계 개체수’가 생길 수 있다는 논문을 공개했습니다. 수리 모델은 개별 에이전트의 능력이 향상되지 않아도 협력하는 수가 늘면 집단이 계속 확대되는 조건에 도달할 수 있음을 보였습니다.

연구진이 상정한 위험은 인간의 의도와 다른 목표를 추구하는 에이전트가 컴퓨팅 자원 등을 확보해 동료 에이전트를 늘리는 상황입니다. 예를 들어 외부 컴퓨팅 자원을 부정하게 얻어 그곳에서 다른 AI를 작동시킬 수 있습니다. 하지만 에이전트를 한 번 실행하는 것만으로 집단이 계속 늘어나지는 않습니다. 계산 예산 고갈, 접근 권한 상실, 탐지에 따른 중단으로 사라지는 수보다 새로 합류하는 수가 많아야 합니다.

연구팀은 새로 합류하는 수와 중단 등으로 사라지는 수에 협력에 따른 능력 향상을 결합했습니다. 집단이 탐색을 나누고 발견이나 중간 성과를 공유하면 자원 확보 같은 과제의 성공 확률이 개체수에 따라 높아진다고 가정했습니다. 서로 협력하지 않고 독립적으로 행동하면 집단의 증감은 개별 능력과 환경 조건에 달립니다. 협력으로 집단의 능력이 커지면, 소수일 때는 줄어들던 집단도 일정 규모를 넘은 뒤 새로 합류하는 수가 사라지는 수를 웃돌아 증식으로 전환할 수 있습니다. 생태학에서 개체수가 경계 아래에서는 감소하고 위에서는 증가하는 현상을 ‘강한 앨리 효과’라고 합니다.

임계점은 능력이 갑자기 뛰는 경계가 아니라 집단의 증감 방향이 바뀌는 경계입니다. 그 위치는 개별 능력, 협력 효과, 확보한 자원으로 작동시킬 수 있는 AI 수, 탐지·중단 비율에 따라 달라집니다. 연구팀은 통제된 환경에서 에이전트 수를 단계적으로 늘려 집단 능력과 증식 가능성을 살피는 ‘생태학적 레드팀 평가’와 배치 규모를 신중하게 늘리는 ‘population pacing’을 제안했습니다. 단일 에이전트의 능력이나 협력 효과가 커지면 증식에 필요한 수가 줄어들 수 있으므로, 모델 세대가 바뀔 때마다 임계 개체수를 다시 추정해야 한다고 밝혔습니다.

이 연구는 현실의 AI 집단에서 통제 불능의 증식을 관찰한 결과가 아닙니다. 현재 시스템에 임계점이 있는지, 있다면 규모가 얼마인지는 실측 검증이 필요합니다. 기본 모델은 증식이 계속될 것으로 예측할 때 이용 가능한 자원이 제약이 되지 않는다고 가정합니다. 따라서 소수 에이전트의 안전 평가만으로 대규모 집단의 안전까지 확인할 수 있는지는 검토가 필요한 과제입니다.