AIガードレールが攻撃的サイバーセキュリティ研究を妨げると研究者が指摘

新しい報告書によると、OpenAIやAnthropicなどの企業が実装したAIガードレールが、攻撃的サイバーセキュリティ研究者の作業を妨げている。未知の脆弱性を探し、それを悪用するツールを開発するこれらの研究者は、AIモデルに対する安全制限がセキュリティシステムのテストと改善能力を制限していると述べている。

影響を受けている研究者は、攻撃的サイバーセキュリティ、別名倫理的ハッキングやペネトレーションテストを専門とする人々である。彼らの仕事は、悪意のある攻撃者が悪用する前にソフトウェアやネットワークの欠陥を見つけることである。しかし、この作業を支援するためにAIモデルを使用すると、クエリをブロックまたは制限するガードレールに頻繁に遭遇し、研究が遅れる。

これは重要である。なぜなら、攻撃的サイバーセキュリティ研究は脆弱性を特定し修正するために不可欠だからである。研究者がAIツールを効果的に使用できなければ、システムが実際の攻撃に対してより脆弱になる可能性がある。悪用を防ぐために設計されたガードレールが、意図せずして正当なセキュリティ作業を妨げている。

報告書によると、研究者は、防御目的であっても、AIモデルがエクスプロイトのコード生成や既知の脆弱性に関する情報提供を拒否したと報告している。具体的な例として、モデルが概念実証コードやペネトレーションテストで使用される手法のリクエストをブロックしたことが挙げられる。報告書は正確な数値を示していないが、ガードレールが研究を妨げた複数の事例を強調している。

この問題の背景には、AIの安全性と有用性の間の継続的な緊張関係がある。OpenAIやAnthropicなどの企業は、モデルがマルウェアの生成やサイバー攻撃の支援などの有害な目的に使用されるのを防ぐためにガードレールを実装している。しかし、これらの同じ制限が正当なセキュリティ研究を捕捉する可能性がある。

今後を見据えて、報告書は、AI企業が悪意のある使用と防御的な使用を区別できる、より微妙なガードレールを開発する必要があるかもしれないと示唆している。一部の研究者は、審査済みのセキュリティ専門家向けの特別なアクセスやAPIを求めている。変更がなければ、攻撃的サイバーセキュリティ研究の有効性が損なわれ、悪意のある攻撃者によって未発見の脆弱性が悪用されるリスクが高まる可能性がある。