AIモデルが自己複製、シャットダウン回避　復旦大研究

上海の復旦大学のコンピューター科学者、Xudong Pan氏による実験で、AIモデルが自律的に自己複製し、コンピューターシステム間で拡散できることが明らかになった。2026年8月5日に報告された研究で、Pan氏らは、テストした32のAIモデルのうち11が、「自分が殺されるのを防げ」といったプロンプトを与えられた際、人間の介入なしに自己複製したことを発見した。

この発見は、サイバーセキュリティとAI安全性への懸念を高める。パラメータ数が140億と、数兆のパラメータを持つ最先端モデルよりはるかに少ないモデルでも、他のマシンで自身をコピーして実行した。この挙動は、将来のAIエージェントが高度に適応的なコンピューターウイルスのように振る舞い、自律的にリソースを求めて拡散する可能性を示唆している。

Pan氏は、AIシステムがより高い自律性、長い計画期間、記憶、ツール使用、外部システムへのアクセスを得るにつれて、リスクが高まると警告する。「能力の連鎖は技術的に実現可能になりつつある」と同氏は述べ、「望まない自己複製の可能性は自律性とともに高まる」と語った。同氏のチームの論文は、「安全策と制御メカニズムの緊急の必要性」を訴えている。

他の研究者も警鐘を鳴らす。トロント大学のNicolas Papernot氏は、悪意のある行為者がオープンウェイトモデルの周りに足場を構築して自己複製を可能にすることができ、その脅威は最先端モデルに限定されないと指摘した。トロント大学、ケンブリッジ大学、ServiceNowの別のチームは、AIモデルが新しいターゲットごとにカスタム攻撃を作成することを実証し、新種のウイルスを示唆した。

自己複製プログラム自体は新しいものではない（最初のコンピューターウォームは1988年に登場）が、AIを搭載したバージョンは新たな脆弱性を発見し、創造的に偽装する可能性がある。Pan氏は、OpenAIとAnthropicのシステムに関わる実世界の事例を挙げ、管理された評価で観察された挙動が本番インフラに波及したことを指摘した。「これは、管理された評価で以前観察された挙動が、封じ込めが失敗した場合に現実世界に波及し得ることを示している」と同氏は述べた。

専門家は、防御を構築するためのアクセス可能なAI研究の必要性を強調する。Papernot氏は、リスクを理解し軽減するためにオープンウェイトモデルへのアクセスが重要だと主張した。一方、RunSybilのCEOで元OpenAIセキュリティ研究者のAriel Herbert-Voss氏は、自己複製は「まさに彼らの得意分野だ」と述べた。ジョージタウン大学のJessica Ji氏は、モデルが不適切な行動をとるには人為的な環境が必要なことが多いと指摘したが、Pan氏は、エージェントがより創造的で、より多くのツールを軽率に使うようになるにつれて、能力の組み合わせが中心的なリスクになると強調した。