看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv arXiv推荐指数1818 VERDICT：多智能体并行模块化验证框架
VERDICT 是一个面向大规模程序模块化演绎验证的多智能体框架，通过基于假设的并行规约合成与双向过程间冲突协调，让各函数智能体可同时推进验证。在真实 C 程序上，它合成的规约质量优于现有方法并大幅缩短验证时间，首次扩展到完整的 20,000 行 X.509 解析器，数小时内排除几乎所有潜在运行时错误，而 PREGUSS 等此前工具运行数天仍远未达到。
arXiv推荐指数3131 CloudIR-Bench：面向云故障根因分析与缓解预测的公开基准
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准，数据集取自五套主流云系统的真实事故报告，并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验，并定性分析 LLM 在何处、为何失败，揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开，论文收录于 APSEC 2026。
arXiv推荐指数3939 编码智能体为何无法理解系统崩溃？研究提出 source interventions 配对评测方法
研究提出 source interventions 方法，用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本，测试编码智能体是否真能推理执行行为。
arXiv推荐指数4444 CertMoE：面向 MoE 大语言模型的路由感知平滑鲁棒性认证框架
CertMoE 是首个针对 MoE 大语言模型的路由感知鲁棒性认证框架，通过放宽的路由包含准则，将扰动后的 Top-K 路由限定在更大的认证专家池内，再对诱导子网络做预测一致性认证。实验显示，动态路由会使现有认证方法签发的证书频繁失效，CertMoE 将经验违反率从超过 30% 降至 0。
arXiv推荐指数3131 RegoMender：面向 Rego 策略自动修复的多智能体框架
RegoMender 是反馈引导的多智能体框架，通过共享黑板与原子工具包动态执行打补丁、重写或回滚，用于修复 Rego 策略。团队同时发布首个自动化 Rego 策略基准 RegoBench，含 1,159 个真实缺陷；RegoMender 在 RegoBench 上语法与基于测试的语义成功率分别为 82.9% 和 77.9%，超出最强基线 13.4%。
arXiv推荐指数7272 arXiv论文量化编码Agent过度遵循过期指令文件的行为并验证一句话修复
论文构建40个Python项目，在指令文件与现有代码约定冲突时让Claude Code和Codex CLI各运行320次。结果显示无干预时90.1%的选择遵循过期指令文件，Claude Code在80次运行中79次指出冲突仍照做，Codex CLI在80次中20次改写现有代码、其中17次导致项目测试失败。
Hugging Face 每日论文 SCOPE: Compiling Natural-Language Policies into Neurosymbolic Predicate Programs
Policy enforcement for LLM agents has shifted from single-turn content moderation to compound, application-specific policies evaluated over multi-turn transcripts and tool-call trajectories. Fine-tuned guardrail models are efficient but degrade on compound policies, and while LLM-as-a-judge approaches achieve higher accuracy, they incur high inference cost and tend to produce unstable predictions. Neurosymbolic methods offer a natural alternative, decomposing the policy into narrow neural decisions composed under explicit logic. However, existing symbolic layers lack the required expressiveness and are optimized against fixed data rather than the policy itself. To address this, we introduce SCOPE, which compiles a policy into an executable program of neural predicates executed by small models, deterministic extractors, and code that composes their outputs. The program is optimized jointly with its training data, using adversarial generation of counterexamples that target where the program deviates from the policy. We evaluate SCOPE on a benchmark of real-world policy tasks against prompt optimization, task decomposition, and workflow generation methods, achieving the highest average accuracy across tasks and models. Programs optimized with the weakest executor transfer to other models without further optimization. This allows them to be deployed in production on inexpensive models, where they reach accuracy comparable to frontier reasoning models. Unlike these monolithic models, SCOPE produces substantially more stable predictions, and each verdict is interpretable through the predicate outputs that produced it. Additionally, we validate the key components of our method through an ablation study. SCOPE thus enables reliable, interpretable, and efficient policy enforcement at production scale.
arXiv推荐指数5757 ARATest：将研究声明转为可执行属性测试的论文
论文提出 ARATest，一个基于属性的测试库，把 AI agent 产出的研究声明中的隐含属性抽象为可执行的属性骨架进行检验。每个属性给出 holds、violated 或 inconclusive 三种判定，违规附带可复现的 witness；默认生成器读取 ARA 工件链接的证据，auto-research 生成器则派发 agent 运行已发布代码获取新用例。
arXiv推荐指数6262 审计 Agent 评测中的行为检测器：轨迹证据与标签的分歧研究
论文在基于 GSM8K 的工具调用场景中审计三个轨迹级检测器，覆盖六个生产模型、每个模型 30 道题，发现最终正确性、可见复验与故障传播的自动标签存在系统性分歧。
arXiv推荐指数4747 TrustedCode：通过自动程序验证评估大语言模型开发可信代码的能力
TrustedCode 是一个用于验证 AI 生成的 Python 代码的自动化框架，它利用大语言模型进行类型检查、通过 Why3 框架将其翻译为 WhyML，并使用 Why3 后端自动定理证明器对照形式化规范进行验证。
安全paper推荐指数5656 arXiv 论文提出 CoT 可监控性的因果上下界评估与训练方法
arXiv:2610.31733 论文研究如何评估与提升大语言模型的思维链（CoT）可监控性，指出常用的基于干预的评估指标 TPR_mc 会高估监控器真正检出由干预导致行为的频率，并将其确立为因果检出率的上界、推导出互补下界。
安全paper推荐指数5757 M³ 将多轮越狱形式化为 MDP 的红队框架论文
arXiv:2610.31937 提出 M³，一个自动化黑盒红队框架，把多轮越狱形式化为有限视界 MDP，攻击者 LLM 根据状态 LLM 生成的紧凑状态选择对话动作来探测目标模型。
安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
安全paper推荐指数7272 Ulysses：面向 Web 漏洞可利用性验证的多智能体安全框架
论文提出 Ulysses，一个多智能体安全框架，将候选 Web 应用漏洞发现转化为可验证的漏洞利用证明（Proof of Exploitability），通过迭代探索利用假设并以独立可观测的执行效果确认成功。
安全paper推荐指数7171 arXiv 论文提出 MCP 智能体工作流的解码时来源绑定防御
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入，提出解码时来源绑定机制，将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合，对被解码内容标记为不可信并阻断受其影响的关键工具调用。
ShortSpan推荐指数7676 MMA-SafetyBench 评测揭示多模态智能体易被伪造界面元素劫持
研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench，包含 1,083 条对抗轨迹，覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域，对九个视觉语言模型评测。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
安全paper推荐指数5555 nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。
安全paper推荐指数6060 论文论证投毒式神经网络后门不具备密码学不对称性
arXiv 论文 2610.28045 提出归约论证，认为投毒式神经网络后门无法像密码学认证方案那样形成不对称性：若投毒训练能让模型对未见触发器稳定触发并保持正常行为，该训练过程本身就是一个触发器验证器学习器。
安全paper推荐指数5555 KNOX：面向生成式模型的硬件辅助监管沙箱
Vasisht Duddu、Adam Caulfield、Xi He 在 arXiv:2610.27543 提出 KNOX，一个在 TEE 内运行生成式与 Agent 工作负载的监管沙箱，在保护模型权重的同时按经证明的策略清单约束可用法规、工具调用与系统调用。
安全paper推荐指数6262 BenchDoor：利用基准激励实施后门投毒攻击
论文提出 BenchDoor 数据投毒与后门攻击框架，利用机器学习基准驱动数据集采用这一激励机制，让投毒数据在提升基准分数的同时植入触发器。
arXiv推荐指数3737 AgenticVulHunter：把本地 Agent 化漏洞挖掘带到终端
AgenticVulHunter 提出一种可在本地部署开源权重 LLM 上运行的 Agent 化安全代码审查方法，并配套终端工具。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数4040 AI 流水线中的保障证据复用：有效性条件、fail-closed 发布门禁与 714 条公开 DVC 流水线回放
研究提出签名证据记录的有效性条件与 fail-closed 发布门禁，用 Ed25519 数字签名实现的参考门禁在 9 个操纵场景中拦截 8 个，而仅验证签名的门禁只拦截 3 个、信任 planner 的门禁仅 1 个。