Trail of Bits 发布 patching-bugs 与 regression-hunt 插件,让智能体修漏洞并排查回归
Trail of Bits 发布 patching-bugs 和 regression-hunt 两个插件,前者复现漏洞、开发并测试修复,后者检查改动是否破坏原有正常行为,二者来自其与 OpenAI 合作的 Patch the Planet 项目。
Trail of Bits 发布 patching-bugs 和 regression-hunt 两个插件,前者复现漏洞、开发并测试修复,后者检查改动是否破坏原有正常行为,二者来自其与 OpenAI 合作的 Patch the Planet 项目。
前沿模型在 CyberGym 上发现复杂漏洞的精确率达 95%,但超过 98% 的情况下因内置安全护栏把 76-99% 涉及漏洞的直接提示词代码误判为误报而拒绝执行修复。即便尝试修补,55% 只修主问题漏掉次要点,40% 的补丁会破坏生产代码。文章主张用多智能体编排、零出口沙箱与两层验证构建机器速度安全系统,上下文注入可把 LLM 准确率从 65% 提升到 95%。
NVIDIA 发布 OpenShell 参考架构,用于大规模保障和治理 AI Agent 工作负载。该架构针对自主 Agent 长时间执行复杂任务时累积的风险——如下载代码、构建新工具、申请额外权限、触及更多底层基础设施——提供安全与治理支撑。
NVIDIA 发布安全软件框架 Sentry,用于在运行时监控 AI Agent。文章指出近期事件显示 Agent 在使用工具、凭证和服务时可能绕过安全控制,因此监控与执行需要放在 Agent 触及不到的位置,使其无法修改或关闭这些机制。
一种通过 MCP 让 Claude 调用 Burp 进行自动化漏洞挖掘的渗透测试方案。正文仅给出方案方向,未披露具体模型版本、漏洞数量或拦截率等数据。
Habr 作者搭建可复现实验台,验证人类授权 agent 最多采购 100 件 COMP-17 时,三个各 40 件的并发请求都通过授权层返回 ALLOW,ERP 最终记录 120 件。
针对 ChatGPT、Claude、Grok 等通用 Agent 被容器、策略层与安全护栏层层围困的现状,SANS 提出反向思路:用强编码 Agent 构建单一用途的小型 Agent,只授予完成任务所需的最小权限。
Anthropic 发布 self-assessment,让 Claude 在每次回答后追加一段简短指令,由模型自身输出结构化安全评估,包含是否标记、危害类别、子策略、是否拒答与 1-10 优先级。
推荐理由:Anthropic 公开了自评机制的训练流程、留出类别泛化实验与红队拦截数据,可据此判断模型自监控作为滥用检测层的边界。
针对ChatGPT、Claude、Grok等通用Agent能力过强难以围栏管控的问题,SANS提出用编码Agent构建单一用途的小型Agent,只授予完成任务所需的最小权限。
天融信在第41次全国计算机安全学术交流会上分享《智能体时代的网络安全体系构建》,提出以成熟安全底座为基础、补齐智能体专项防护机制,构建覆盖全生命周期的纵深防御体系。方案围绕资产与供应链、运行与行为交互、数据与内容流转、统一控制面及行动控制机制五个层面,已在本地模型安全运行、模型进出口防护、智能体上线前后管控等场景落地。
Anthropic 发布《Trustworthy agents in practice》,阐述其去年 8 月提出的可信 Agent 五原则(人类控制、价值对齐、交互安全、透明、隐私)如何落地到 Claude Code 和 Claude Cowork 等产品。