AI 가드레일이 공격적 사이버보안 연구를 방해한다고 연구자들이 주장

새로운 보고서에 따르면 OpenAI와 Anthropic과 같은 기업이 구현한 AI 가드레일이 공격적 사이버보안 연구자들의 작업을 방해하고 있습니다. 알려지지 않은 취약점을 찾고 이를 악용하는 도구를 개발하는 이 연구자들은 AI 모델에 대한 안전 제한이 보안 시스템을 테스트하고 개선하는 능력을 저해한다고 말합니다.

영향을 받는 연구자들은 윤리적 해킹 또는 침투 테스트로도 알려진 공격적 사이버보안을 전문으로 하는 사람들입니다. 그들의 작업은 악의적인 행위자가 악용하기 전에 소프트웨어와 네트워크의 결함을 찾는 것입니다. 그러나 AI 모델을 사용하여 이 작업을 지원할 때, 그들은 종종 쿼리를 차단하거나 제한하는 가드레일에 부딪혀 연구 속도를 늦춥니다.

이것이 중요한 이유는 공격적 사이버보안 연구가 취약점을 식별하고 패치하는 데 중요하기 때문입니다. 연구자들이 AI 도구를 효과적으로 사용할 수 없다면, 시스템이 실제 공격에 더 노출될 수 있습니다. 오용을 방지하기 위해 설계된 가드레일이 의도치 않게 합법적인 보안 작업을 방해하고 있습니다.

보고서에 따르면, 연구자들은 AI 모델이 방어 목적임에도 불구하고 익스플로잇 코드를 생성하거나 알려진 취약점에 대한 정보를 제공하는 것을 거부했다고 보고했습니다. 구체적인 예로는 모델이 침투 테스트에 사용되는 개념 증명 코드나 기술에 대한 요청을 차단하는 경우가 포함됩니다. 보고서는 정확한 숫자를 제공하지 않았지만 가드레일이 연구를 방해한 여러 사례를 강조했습니다.

이 문제의 배경은 AI 안전과 유용성 사이의 지속적인 긴장 관계입니다. OpenAI와 Anthropic과 같은 기업은 모델이 악성 코드 생성이나 사이버 공격 지원과 같은 유해한 목적으로 사용되는 것을 방지하기 위해 가드레일을 구현했습니다. 그러나 이러한 동일한 제한이 합법적인 보안 연구를 차단할 수 있습니다.

앞으로 보고서는 AI 기업이 악의적 사용과 방어적 사용을 구분할 수 있는 더 세분화된 가드레일을 개발해야 할 필요가 있다고 제안합니다. 일부 연구자들은 검증된 보안 전문가를 위한 특별 액세스나 API를 요구하고 있습니다. 변화가 없다면 공격적 사이버보안 연구의 효과성이 손상되어 악의적인 행위자가 발견되지 않은 취약점을 악용할 위험이 증가할 수 있습니다.