AI护栏阻碍进攻性网络安全研究，研究人员称

一份新报告显示，OpenAI和Anthropic等公司实施的AI护栏正在阻碍进攻性网络安全研究人员的工作。这些研究人员寻找未知漏洞并开发利用工具，他们表示，AI模型的安全限制削弱了他们测试和改进安全系统的能力。

受影响的研究人员专门从事进攻性网络安全，也称为道德黑客或渗透测试。他们的工作是在恶意行为者利用之前发现软件和网络中的缺陷。然而，当他们使用AI模型协助这项工作时，经常会遇到阻止或限制其查询的护栏，从而减慢研究速度。

这很重要，因为进攻性网络安全研究对于识别和修补漏洞至关重要。如果研究人员无法有效使用AI工具，可能会使系统更容易受到真实攻击。旨在防止滥用的护栏无意中阻碍了合法的安全工作。

根据报告，研究人员报告称，AI模型拒绝生成利用代码或提供已知漏洞信息，即使意图是防御性的。具体例子包括模型阻止请求概念验证代码或渗透测试中使用的技术。报告未提供确切数字，但强调了多个护栏干扰研究的实例。

这一问题的背景是AI安全与实用性之间的持续紧张关系。OpenAI和Anthropic等公司实施了护栏，以防止其模型被用于有害目的，例如生成恶意软件或协助网络攻击。然而，同样的限制也可能捕获合法的安全研究。

展望未来，报告建议AI公司可能需要开发更细致的护栏，以区分恶意和防御性用途。一些研究人员呼吁为经过审查的安全专业人员提供特殊访问权限或API。如果不做出改变，进攻性网络安全研究的有效性可能会受到损害，从而可能增加未发现漏洞被恶意行为者利用的风险。