AI-veiligheidsmaatregelen belemmeren offensief cybersecurityonderzoek, zeggen onderzoekers

Een nieuw rapport onthult dat AI-veiligheidsmaatregelen die zijn geïmplementeerd door bedrijven zoals OpenAI en Anthropic het werk van offensieve cybersecurityonderzoekers belemmeren. Deze onderzoekers, die op zoek zijn naar onbekende kwetsbaarheden en tools ontwikkelen om deze te exploiteren, zeggen dat veiligheidsbeperkingen op AI-modellen hun vermogen om beveiligingssystemen te testen en te verbeteren beperken.

De getroffen onderzoekers zijn degenen die gespecialiseerd zijn in offensieve cybersecurity, ook wel ethisch hacken of penetratietesten genoemd. Hun werk omvat het vinden van fouten in software en netwerken voordat kwaadwillende actoren deze kunnen misbruiken. Wanneer ze echter AI-modellen gebruiken om dit werk te ondersteunen, stuiten ze vaak op veiligheidsmaatregelen die hun queries blokkeren of beperken, waardoor hun onderzoek vertraagt.

Dit is belangrijk omdat offensief cybersecurityonderzoek cruciaal is voor het identificeren en patchen van kwetsbaarheden. Als onderzoekers AI-tools niet effectief kunnen gebruiken, kan dit systemen blootstellen aan echte aanvallen. De veiligheidsmaatregelen, ontworpen om misbruik te voorkomen, belemmeren onbedoeld legitiem beveiligingswerk.

Volgens het rapport meldden onderzoekers dat AI-modellen weigerden code voor exploits te genereren of informatie over bekende kwetsbaarheden te verstrekken, zelfs als het doel defensief was. Specifieke voorbeelden zijn modellen die verzoeken om proof-of-concept-code of technieken die worden gebruikt bij penetratietesten blokkeren. Het rapport gaf geen exacte aantallen, maar benadrukte meerdere gevallen waarin veiligheidsmaatregelen het onderzoek verstoorden.

De achtergrond van dit probleem is de voortdurende spanning tussen AI-veiligheid en bruikbaarheid. Bedrijven zoals OpenAI en Anthropic hebben veiligheidsmaatregelen geïmplementeerd om te voorkomen dat hun modellen worden gebruikt voor schadelijke doeleinden, zoals het genereren van malware of het assisteren bij cyberaanvallen. Dezezelfde beperkingen kunnen echter legitiem beveiligingsonderzoek treffen.

Vooruitkijkend suggereert het rapport dat AI-bedrijven wellicht genuanceerdere veiligheidsmaatregelen moeten ontwikkelen die onderscheid kunnen maken tussen kwaadwillend en defensief gebruik. Sommige onderzoekers pleiten voor speciale toegang of API's voor geverifieerde beveiligingsprofessionals. Zonder veranderingen kan de effectiviteit van offensief cybersecurityonderzoek in gevaar komen, wat mogelijk het risico vergroot dat onontdekte kwetsbaarheden worden misbruikt door kwaadwillende actoren.