Zabezpieczenia AI utrudniają ofensywne badania cyberbezpieczeństwa, twierdzą badacze

Nowy raport ujawnia, że zabezpieczenia AI wdrożone przez firmy takie jak OpenAI i Anthropic utrudniają pracę ofensywnym badaczom cyberbezpieczeństwa. Ci badacze, którzy poszukują nieznanych podatności i opracowują narzędzia do ich wykorzystania, twierdzą, że ograniczenia bezpieczeństwa modeli AI ograniczają ich zdolność do testowania i ulepszania systemów bezpieczeństwa.

Dotknięci badacze to ci, którzy specjalizują się w ofensywnym cyberbezpieczeństwie, znanym również jako etyczne hakowanie lub testy penetracyjne. Ich praca polega na znajdowaniu luk w oprogramowaniu i sieciach, zanim złośliwi aktorzy będą mogli je wykorzystać. Jednak gdy używają modeli AI do pomocy w tej pracy, często napotykają zabezpieczenia, które blokują lub ograniczają ich zapytania, spowalniając badania.

Ma to znaczenie, ponieważ ofensywne badania cyberbezpieczeństwa są kluczowe dla identyfikacji i łatania podatności. Jeśli badacze nie będą mogli skutecznie korzystać z narzędzi AI, może to pozostawić systemy bardziej narażone na rzeczywiste ataki. Zabezpieczenia, zaprojektowane w celu zapobiegania nadużyciom, nieumyślnie utrudniają legalną pracę związaną z bezpieczeństwem.

Według raportu, badacze zgłosili, że modele AI odmawiały generowania kodu dla exploitów lub udzielania informacji o znanych podatnościach, nawet gdy intencja była defensywna. Konkretne przykłady obejmują blokowanie przez modele próśb o kod proof-of-concept lub techniki stosowane w testach penetracyjnych. Raport nie podał dokładnych liczb, ale wskazał wiele przypadków, w których zabezpieczenia zakłócały badania.

Tłem tego problemu jest ciągłe napięcie między bezpieczeństwem AI a użytecznością. Firmy takie jak OpenAI i Anthropic wdrożyły zabezpieczenia, aby zapobiec wykorzystywaniu ich modeli do szkodliwych celów, takich jak generowanie złośliwego oprogramowania lub pomoc w cyberatakach. Jednak te same ograniczenia mogą wychwytywać legalne badania bezpieczeństwa.

Patrząc w przyszłość, raport sugeruje, że firmy AI mogą potrzebować opracować bardziej zniuansowane zabezpieczenia, które będą w stanie odróżnić złośliwe użycie od defensywnego. Niektórzy badacze wzywają do specjalnego dostępu lub API dla zweryfikowanych specjalistów ds. bezpieczeństwa. Bez zmian skuteczność ofensywnych badań cyberbezpieczeństwa może być zagrożona, potencjalnie zwiększając ryzyko wykorzystania nieodkrytych podatności przez złośliwych aktorów.