Las barreras de seguridad de la IA obstaculizan la investigación ofensiva en ciberseguridad, según investigadores

Un nuevo informe revela que las barreras de seguridad de IA implementadas por empresas como OpenAI y Anthropic están obstaculizando el trabajo de los investigadores ofensivos en ciberseguridad. Estos investigadores, que buscan vulnerabilidades desconocidas y desarrollan herramientas para explotarlas, afirman que las restricciones de seguridad en los modelos de IA limitan su capacidad para probar y mejorar los sistemas de seguridad.

Los investigadores afectados son aquellos especializados en ciberseguridad ofensiva, también conocida como hacking ético o pruebas de penetración. Su trabajo consiste en encontrar fallos en software y redes antes de que actores maliciosos puedan explotarlos. Sin embargo, cuando utilizan modelos de IA para ayudar en este trabajo, a menudo se encuentran con barreras que bloquean o restringen sus consultas, ralentizando su investigación.

Esto es importante porque la investigación ofensiva en ciberseguridad es crítica para identificar y parchear vulnerabilidades. Si los investigadores no pueden utilizar eficazmente las herramientas de IA, podría dejar los sistemas más expuestos a ataques reales. Las barreras de seguridad, diseñadas para prevenir el uso indebido, están obstaculizando inadvertidamente el trabajo legítimo de seguridad.

Según el informe, los investigadores informaron que los modelos de IA se negaron a generar código para exploits o proporcionar información sobre vulnerabilidades conocidas, incluso cuando la intención era defensiva. Ejemplos específicos incluyen modelos que bloquean solicitudes de código de prueba de concepto o técnicas utilizadas en pruebas de penetración. El informe no proporcionó cifras exactas, pero destacó múltiples casos en los que las barreras interfirieron con la investigación.

El contexto de este problema es la tensión continua entre la seguridad y la utilidad de la IA. Empresas como OpenAI y Anthropic han implementado barreras para evitar que sus modelos se utilicen con fines dañinos, como generar malware o ayudar en ciberataques. Sin embargo, estas mismas restricciones pueden atrapar la investigación legítima de seguridad.

De cara al futuro, el informe sugiere que las empresas de IA pueden necesitar desarrollar barreras más matizadas que puedan distinguir entre usos maliciosos y defensivos. Algunos investigadores están pidiendo acceso especial o API para profesionales de seguridad verificados. Sin cambios, la efectividad de la investigación ofensiva en ciberseguridad podría verse comprometida, aumentando potencialmente el riesgo de que vulnerabilidades no descubiertas sean explotadas por actores maliciosos.