Anthropic公布自动化红队系统Anvil

Anthropic公布基于Claude构建的自动化红队测试系统Anvil，可在生物安全、网络安全和信息安全三个领域自主寻找模型安全防护漏洞。Anthropic称，当Anvil攻击启用了安全防护的模型时，防护机制拦截红队测试会话高达97%，其中85%在第一条请求时就被拦截。 Anthropic强调，Anvil的测试条件与外部攻击者能获得的条件存在差异：Anvil使用的是关闭安全防护的内部Claude模型，且能获取分类器的精确评分，而外部攻击者通常只能知道请求是否被拦截。Anthropic还提到，同期还有其他多项防护改进，因此不能将真实攻击成功率下降完全归功于Anvil。

AI 根据报道生成 · 24 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。