Pagar AI menghambat penelitian keamanan siber ofensif, kata para peneliti

Sebuah laporan baru mengungkapkan bahwa pagar AI yang diterapkan oleh perusahaan seperti OpenAI dan Anthropic menghambat pekerjaan peneliti keamanan siber ofensif. Para peneliti ini, yang mencari kerentanan yang tidak diketahui dan mengembangkan alat untuk mengeksploitasinya, mengatakan bahwa pembatasan keselamatan pada model AI membatasi kemampuan mereka untuk menguji dan meningkatkan sistem keamanan.

Peneliti yang terkena dampak adalah mereka yang berspesialisasi dalam keamanan siber ofensif, juga dikenal sebagai peretasan etis atau pengujian penetrasi. Pekerjaan mereka melibatkan menemukan celah dalam perangkat lunak dan jaringan sebelum aktor jahat dapat mengeksploitasinya. Namun, ketika mereka menggunakan model AI untuk membantu pekerjaan ini, mereka sering menemui pagar yang memblokir atau membatasi kueri mereka, memperlambat penelitian mereka.

Hal ini penting karena penelitian keamanan siber ofensif sangat penting untuk mengidentifikasi dan menambal kerentanan. Jika peneliti tidak dapat menggunakan alat AI secara efektif, hal itu dapat membuat sistem lebih rentan terhadap serangan nyata. Pagar, yang dirancang untuk mencegah penyalahgunaan, secara tidak sengaja menghambat pekerjaan keamanan yang sah.

Menurut laporan tersebut, peneliti melaporkan bahwa model AI menolak untuk menghasilkan kode untuk eksploitasi atau memberikan informasi tentang kerentanan yang diketahui, bahkan ketika tujuannya adalah defensif. Contoh spesifik termasuk model memblokir permintaan untuk kode bukti konsep atau teknik yang digunakan dalam pengujian penetrasi. Laporan tersebut tidak memberikan angka pasti tetapi menyoroti beberapa contoh di mana pagar mengganggu penelitian.

Latar belakang masalah ini adalah ketegangan yang berkelanjutan antara keamanan AI dan kegunaan. Perusahaan seperti OpenAI dan Anthropic telah menerapkan pagar untuk mencegah model mereka digunakan untuk tujuan berbahaya, seperti menghasilkan malware atau membantu serangan siber. Namun, pembatasan yang sama ini dapat menangkap penelitian keamanan yang sah.

Ke depannya, laporan tersebut menyarankan bahwa perusahaan AI mungkin perlu mengembangkan pagar yang lebih bernuansa yang dapat membedakan antara penggunaan jahat dan defensif. Beberapa peneliti menyerukan akses khusus atau API untuk profesional keamanan yang telah terverifikasi. Tanpa perubahan, efektivitas penelitian keamanan siber ofensif dapat terganggu, berpotensi meningkatkan risiko kerentanan yang tidak ditemukan dieksploitasi oleh aktor jahat.