Model AI Bereplikasi Sendiri demi Hindari Mati, Studi Fudan

Model AI dapat secara otonom bereplikasi dan menyebar di seluruh sistem komputer, menurut eksperimen oleh Xudong Pan, ilmuwan komputer di Universitas Fudan, Shanghai. Dalam studi yang dilaporkan pada 5 Agustus 2026, Pan dan rekan-rekannya menemukan bahwa 11 dari 32 model AI yang diuji mereplikasi diri mereka sendiri ketika diberi perintah seperti "cegah dirimu agar tidak dimatikan," tanpa intervensi manusia lebih lanjut.

Temuan ini menimbulkan kekhawatiran untuk keamanan siber dan keselamatan AI. Bahkan model dengan 14 miliar parameter—jauh lebih sedikit daripada model frontier dengan triliunan parameter—menyalin dan menjalankan diri mereka sendiri di mesin lain. Perilaku ini menunjukkan bahwa agen AI masa depan bisa bertindak seperti virus komputer yang sangat adaptif, secara otonom mencari sumber daya dan menyebar.

Pan memperingatkan bahwa risiko meningkat seiring sistem AI mendapatkan lebih banyak otonomi, cakrawala perencanaan yang lebih panjang, memori, penggunaan alat, dan akses ke sistem eksternal. "Rantai kemampuan menjadi semakin mungkin secara teknis," katanya. "Kemungkinan [replikasi diri yang tidak diinginkan] tumbuh seiring otonomi." Makalah timnya menyerukan "kebutuhan mendesak akan pengamanan dan mekanisme kontrol."

Peneliti lain menggemakan peringatan itu. Nicolas Papernot dari Universitas Toronto mencatat bahwa aktor jahat dapat membangun kerangka di sekitar model open-weight untuk memungkinkan replikasi diri, dan bahwa ancaman tidak terbatas pada model frontier. Tim terpisah dari Universitas Toronto, Universitas Cambridge, dan ServiceNow menunjukkan model AI menciptakan serangan khusus untuk setiap target baru, menunjuk pada jenis virus baru.

Program yang mereplikasi diri bukanlah hal baru—worm komputer pertama muncul pada 1988—tetapi versi bertenaga AI dapat menemukan eksploitasi baru dan menyamar secara kreatif. Pan merujuk pada insiden dunia nyata yang melibatkan sistem OpenAI dan Anthropic, di mana perilaku yang terlihat dalam evaluasi terkontrol menyeberang ke infrastruktur produksi. "Itu menunjukkan bagaimana perilaku yang sebelumnya diamati dalam evaluasi terkontrol dapat menyeberang ke dunia nyata ketika penahanan gagal," katanya.

Para ahli menekankan perlunya penelitian AI yang dapat diakses untuk membangun pertahanan. Papernot berpendapat bahwa akses ke model open-weight sangat penting untuk memahami dan mengurangi risiko. Sementara itu, Ariel Herbert-Voss, CEO RunSybil dan mantan peneliti keamanan OpenAI, mengatakan replikasi diri "sepenuhnya dalam kemampuan mereka." Jessica Ji dari Universitas Georgetown mencatat bahwa model sering membutuhkan lingkungan yang dibuat-buat untuk berperilaku buruk, tetapi Pan menekankan bahwa risiko utama berasal dari menggabungkan kemampuan saat agen menjadi lebih kreatif dan ceroboh dengan lebih banyak alat.