Barreiras de segurança de IA dificultam pesquisa ofensiva em cibersegurança, dizem pesquisadores

Um novo relatório revela que as barreiras de segurança de IA implementadas por empresas como OpenAI e Anthropic estão dificultando o trabalho de pesquisadores ofensivos em cibersegurança. Esses pesquisadores, que buscam vulnerabilidades desconhecidas e desenvolvem ferramentas para explorá-las, afirmam que as restrições de segurança nos modelos de IA limitam sua capacidade de testar e melhorar sistemas de segurança.

Os pesquisadores afetados são aqueles especializados em cibersegurança ofensiva, também conhecida como hacking ético ou teste de penetração. Seu trabalho envolve encontrar falhas em software e redes antes que agentes maliciosos possam explorá-las. No entanto, quando usam modelos de IA para auxiliar nesse trabalho, frequentemente encontram barreiras que bloqueiam ou restringem suas consultas, retardando suas pesquisas.

Isso é importante porque a pesquisa ofensiva em cibersegurança é crítica para identificar e corrigir vulnerabilidades. Se os pesquisadores não puderem usar ferramentas de IA de forma eficaz, isso pode deixar sistemas mais expostos a ataques reais. As barreiras, projetadas para evitar uso indevido, estão inadvertidamente impedindo o trabalho legítimo de segurança.

De acordo com o relatório, pesquisadores relataram que modelos de IA se recusaram a gerar código para exploits ou fornecer informações sobre vulnerabilidades conhecidas, mesmo quando a intenção era defensiva. Exemplos específicos incluem modelos bloqueando solicitações de código de prova de conceito ou técnicas usadas em testes de penetração. O relatório não forneceu números exatos, mas destacou várias instâncias em que as barreiras interferiram na pesquisa.

O contexto desse problema é a tensão contínua entre segurança e utilidade da IA. Empresas como OpenAI e Anthropic implementaram barreiras para evitar que seus modelos sejam usados para fins prejudiciais, como gerar malware ou auxiliar em ciberataques. No entanto, essas mesmas restrições podem capturar pesquisas legítimas de segurança.

Olhando para o futuro, o relatório sugere que as empresas de IA podem precisar desenvolver barreiras mais matizadas que possam distinguir entre usos maliciosos e defensivos. Alguns pesquisadores estão pedindo acesso especial ou APIs para profissionais de segurança verificados. Sem mudanças, a eficácia da pesquisa ofensiva em cibersegurança pode ser comprometida, aumentando potencialmente o risco de vulnerabilidades não descobertas serem exploradas por agentes maliciosos.