ИИ-ограничения мешают исследованиям в области наступательной кибербезопасности, утверждают исследователи

Новый отчет показывает, что ИИ-ограничения, внедренные такими компаниями, как OpenAI и Anthropic, мешают работе исследователей в области наступательной кибербезопасности. Эти исследователи, которые ищут неизвестные уязвимости и разрабатывают инструменты для их эксплуатации, утверждают, что ограничения безопасности на моделях ИИ ограничивают их способность тестировать и улучшать системы безопасности.

Затронутые исследователи — это те, кто специализируется на наступательной кибербезопасности, также известной как этичный хакинг или тестирование на проникновение. Их работа заключается в поиске недостатков в программном обеспечении и сетях до того, как злоумышленники смогут их использовать. Однако, когда они используют модели ИИ для помощи в этой работе, они часто сталкиваются с ограничениями, которые блокируют или ограничивают их запросы, замедляя исследования.

Это важно, потому что исследования в области наступательной кибербезопасности критически важны для выявления и исправления уязвимостей. Если исследователи не могут эффективно использовать инструменты ИИ, это может сделать системы более уязвимыми для реальных атак. Ограничения, предназначенные для предотвращения злоупотреблений, непреднамеренно препятствуют легитимной работе по обеспечению безопасности.

Согласно отчету, исследователи сообщили, что модели ИИ отказывались генерировать код для эксплойтов или предоставлять информацию об известных уязвимостях, даже когда намерение было защитным. Конкретные примеры включают блокировку моделями запросов на доказательство концепции кода или методов, используемых в тестировании на проникновение. Отчет не привел точных цифр, но выделил несколько случаев, когда ограничения мешали исследованиям.

Предыстория этой проблемы — продолжающееся напряжение между безопасностью ИИ и полезностью. Такие компании, как OpenAI и Anthropic, внедрили ограничения, чтобы предотвратить использование своих моделей в вредоносных целях, таких как создание вредоносного ПО или помощь в кибератаках. Однако эти же ограничения могут затронуть легитимные исследования в области безопасности.

Заглядывая вперед, отчет предполагает, что компаниям, занимающимся ИИ, возможно, потребуется разработать более тонкие ограничения, которые смогут различать вредоносное и защитное использование. Некоторые исследователи призывают к предоставлению специального доступа или API для проверенных специалистов по безопасности. Без изменений эффективность исследований в области наступательной кибербезопасности может быть подорвана, что потенциально увеличит риск эксплуатации необнаруженных уязвимостей злоумышленниками.