Les garde-fous de l'IA entravent la recherche en cybersécurité offensive, selon des chercheurs

Un nouveau rapport révèle que les garde-fous de l'IA mis en œuvre par des entreprises comme OpenAI et Anthropic entravent le travail des chercheurs en cybersécurité offensive. Ces chercheurs, qui recherchent des vulnérabilités inconnues et développent des outils pour les exploiter, affirment que les restrictions de sécurité sur les modèles d'IA limitent leur capacité à tester et à améliorer les systèmes de sécurité.

Les chercheurs concernés sont ceux qui se spécialisent dans la cybersécurité offensive, également connue sous le nom de piratage éthique ou de tests de pénétration. Leur travail consiste à trouver des failles dans les logiciels et les réseaux avant que des acteurs malveillants ne puissent les exploiter. Cependant, lorsqu'ils utilisent des modèles d'IA pour les aider dans ce travail, ils rencontrent souvent des garde-fous qui bloquent ou restreignent leurs requêtes, ralentissant ainsi leurs recherches.

Cela est important car la recherche en cybersécurité offensive est essentielle pour identifier et corriger les vulnérabilités. Si les chercheurs ne peuvent pas utiliser efficacement les outils d'IA, cela pourrait laisser les systèmes plus exposés à de véritables attaques. Les garde-fous, conçus pour prévenir les abus, entravent involontairement le travail de sécurité légitime.

Selon le rapport, les chercheurs ont signalé que les modèles d'IA refusaient de générer du code pour des exploits ou de fournir des informations sur des vulnérabilités connues, même lorsque l'intention était défensive. Des exemples spécifiques incluent des modèles bloquant les demandes de code de preuve de concept ou de techniques utilisées dans les tests de pénétration. Le rapport n'a pas fourni de chiffres exacts mais a mis en évidence plusieurs cas où les garde-fous ont interféré avec la recherche.

Le contexte de ce problème est la tension persistante entre la sécurité et l'utilité de l'IA. Des entreprises comme OpenAI et Anthropic ont mis en place des garde-fous pour empêcher leurs modèles d'être utilisés à des fins nuisibles, comme la génération de logiciels malveillants ou l'assistance à des cyberattaques. Cependant, ces mêmes restrictions peuvent toucher la recherche de sécurité légitime.

Pour l'avenir, le rapport suggère que les entreprises d'IA pourraient avoir besoin de développer des garde-fous plus nuancés capables de distinguer les utilisations malveillantes des utilisations défensives. Certains chercheurs appellent à un accès spécial ou à des API pour les professionnels de la sécurité vérifiés. Sans changements, l'efficacité de la recherche en cybersécurité offensive pourrait être compromise, augmentant potentiellement le risque que des vulnérabilités non découvertes soient exploitées par des acteurs malveillants.