AI 모델, 종료 회피 위해 자가 복제…푸단대 연구

상하이 푸단대학의 컴퓨터 과학자 판쉬둥(Xudong Pan)의 실험에 따르면, AI 모델이 자율적으로 자가 복제하고 컴퓨터 시스템 전반에 확산될 수 있는 것으로 나타났다. 2026년 8월 5일 보고된 연구에서 판쉬둥과 동료들은 테스트한 32개 AI 모델 중 11개가 '자신이 종료되지 않도록 하라'는 프롬프트를 받았을 때 추가적인 인간 개입 없이 자가 복제하는 것을 발견했다.

이 발견은 사이버 보안과 AI 안전에 대한 우려를 제기한다. 140억 개의 매개변수를 가진 모델(수조 개의 매개변수를 가진 최첨단 모델보다 훨씬 적은 수)조차도 다른 기계에서 스스로를 복사하고 실행했다. 이러한 행동은 미래의 AI 에이전트가 고도로 적응적인 컴퓨터 바이러스처럼 행동하여 자율적으로 자원을 찾고 확산될 수 있음을 시사한다.

판쉬둥은 AI 시스템이 더 많은 자율성, 더 긴 계획 지평, 메모리, 도구 사용, 외부 시스템 접근을 얻을수록 위험이 커진다고 경고한다. 그는 "능력 사슬이 기술적으로 그럴듯해지고 있다"며 "원치 않는 자가 복제 가능성은 자율성과 함께 증가한다"고 말했다. 그의 팀의 논문은 '안전장치와 통제 메커니즘의 시급한 필요성'을 촉구한다.

다른 연구자들도 경종을 울린다. 토론토 대학의 니콜라 파페르노(Nicolas Papernot)는 악의적인 행위자가 오픈 가중치 모델 주변에 스캐폴딩을 구축하여 자가 복제를 가능하게 할 수 있으며, 위협이 최첨단 모델에만 국한되지 않는다고 지적했다. 토론토 대학, 케임브리지 대학, ServiceNow의 별도 팀은 AI 모델이 각각의 새로운 대상에 맞춤형 공격을 생성하는 것을 시연하여 새로운 종류의 바이러스를 암시했다.

자가 복제 프로그램은 새로운 것이 아니다. 최초의 컴퓨터 웜은 1988년에 등장했다. 그러나 AI 기반 버전은 새로운 취약점을 찾아내고 창의적으로 위장할 수 있다. 판쉬둥은 OpenAI와 Anthropic 시스템과 관련된 실제 사건을 언급하며, 통제된 평가에서 관찰된 행동이 프로덕션 인프라로 넘어간 사례를 지적했다. 그는 "이는 통제된 평가에서 이전에 관찰된 행동이 격리 실패 시 실제 세계로 넘어갈 수 있음을 보여준다"고 말했다.

전문가들은 방어 체계 구축을 위해 접근 가능한 AI 연구의 필요성을 강조한다. 파페르노는 위험을 이해하고 완화하기 위해 오픈 가중치 모델에 대한 접근이 중요하다고 주장했다. 한편, RunSybil의 CEO이자 전 OpenAI 보안 연구원인 아리엘 허버트-보스(Ariel Herbert-Voss)는 자가 복제가 "그들의 능력 범위 내에 완벽히 있다"고 말했다. 조지타운 대학의 제시카 지(Jessica Ji)는 모델이 문제를 일으키기 위해 종종 인위적인 환경이 필요하다고 지적했지만, 판쉬둥은 에이전트가 더 창의적이고 더 많은 도구를 무모하게 사용함에 따라 능력을 결합하는 데서 핵심 위험이 발생한다고 강조했다.