Soei：面向多智能体软件工程的证据与意图结构化可观测性研究
该论文提出 Soei（Structured Observability of Evidence and Intent），针对多智能体编码Agent的长时程软件工作，研究证据与意图的结构化可观测性。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 84 条 · 更新于 15:38
arXiv推荐指数5858 arXiv推荐指数4545 ARBITRA：基于多专家论证的鲁棒文档级 MITRE ATT&CK 提取
ARBITRA 通过多个角色专精的 LLM 专家从完整 CTI 报告中提出候选 MITRE ATT&CK 实体，并用基于文档证据与理由的逐候选量化双极论证框架（QBAF）进行验证，在 ATT&CK 提取基准上取得比句子级流水线、近期 LLM 提取系统及 GPT-5.5 等前沿模型更强的精确率导向工作点。
arXiv推荐指数6060 InferD：面向 AI 推理基础设施的蜜罐框架论文（AISec Workshop '26 / ACM CCS 2026）
论文提出 InferD，一个面向 AI 推理基础设施的低交互蜜罐框架，被 AISec Workshop '26（ACM CCS 2026，海牙）接收。作者指出大语言模型服务栈、商用推理 API、向量数据库和 Agent 编排网关部署后数小时内即被通用扫描器暴露在公网，而现有蜜罐框架面向传统网络服务，无法测量该攻击面。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数7272 arXiv 论文：理解并缓解大模型中的角色伪装攻击
论文研究 LLM 中的角色伪装（role spoofing）攻击，即工具输出中的恶意文本（如 Agent 访问的恶意网页）利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制，发现其依赖内容（语义与写作风格）和结构（控制 token 与格式）两类线索，结合伪造结构与内容的攻击成功率很高。
arXiv推荐指数6262 扩散模型成员推断攻击的跨时间难度校准方法
arXiv 论文提出沿训练时间和扩散时间两个维度做难度校准，以改进扩散模型的成员推断攻击（MIA）。
arXiv推荐指数3838 DIFUZZI：基于 LLM 的差分模糊测试工具，用于代码功能相似性评估
DIFUZZI 是一款差分模糊测试工具，通过引入基于 LLM 的输入生成器合成步骤（迭代验证与修复），自动化构建适配目标程序对的输入生成器，从而降低差分模糊测试的应用门槛。该工具已开源发布，并附有演示视频。
arXiv推荐指数6767 Tracekit Box 论文：在 Firecracker micro-VM 中运行 AI Agent 并对每次出口决策签名
arXiv 论文提出 Tracekit Box，一个 MIT 许可的开源系统（v0），让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡，所有出口（命令、外连、密钥、模型调用、工作区补丁）都经 vsock 走宿主机上的签名器，由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
arXiv推荐指数6868 WebMaze：以功能耦合诱饵将 LLM Web 扫描器引入诱饵世界
arXiv 论文提出 WebMaze 防御方法，在不改变真实应用功能的前提下，将基于 LLM 的恶意 Web 扫描器引向生成的诱饵世界。作者系统研究了六个 LLM 扫描器如何收集信息并基于观察迭代选择动作，在真实页面中嵌入功能耦合陷阱，并从应用现有视图构建视图定制的交互式诱饵世界。
arXiv推荐指数4747 DRL 交通信号控制的最小信息黑盒虚假报告攻击
研究表明，对基于深度强化学习（DRL）的交通信号控制器，一个无法访问模型、仅能观测自身进口道的黑盒攻击者，通过训练模仿代理模型并构造有界虚假 V2I 报告，即可显著增加其他进口道的平均等待时间，而自身等待时间几乎不变，将额外延误外部化给其他方向。
arXiv推荐指数6262 arXiv论文：在真实工业装置与仿真器上评测11个异常检测器的安全扰动检测能力
论文在仿真化工流程与钠热工水力实验装置上评测了11个异常检测器（覆盖经典、神经、依赖与因果四类），扰动依据威胁模型构造而非原生故障，并在声明的误报预算下读取检测结果。
ShortSpan推荐指数7373 WM-Basin：通过权重水印黑盒检测被蒸馏的大语言模型
论文《Watermark Basins: Black-Box Detection of Distilled LLMs》提出 WM-Basin，一种仅通过 API 查询即可检测学生模型是否由带水印教师模型蒸馏而来的黑盒检测器。
ShortSpan推荐指数8383 Wiz 报告开源渗透测试 Agent ARTEX 在真实攻击中的自主攻击链
Wiz 研究人员通过访问日志和身份提供方遥测还原出攻击者使用开源渗透测试 Agent ARTEX 的攻击过程，该操作者与 Microsoft 追踪的 Storm-0940 共享基础设施与习惯，目标为 IT 与软件厂商，聚焦 Okta、Entra、Cognito 身份层。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数3838 基于分层强化学习的零信任自适应事件响应框架 ZT-AIR
arXiv 论文提出 ZT-AIR，一个以零信任架构为设计理论、分层强化学习为核心理论的自适应事件响应（IR）框架，将零信任控制编码为动作，分离战略优先级与战术执行，联合优化安全有效性与业务连续性。实验在多种对抗策略、网络规模与防御环境下验证，ZT-AIR 通过频繁且低干扰的干预实现安全与连续性的平衡，从业者评估进一步确认了其实际可行性。
arXiv推荐指数7373 SparseBleed：利用稀疏优化时序侧信道绕过属性推断防御
论文提出首个硬件级属性窃取攻击 SparseBleed，利用稀疏驱动执行路径产生的稳定时序签名作为模型置信度的替代，无需访问梯度、logits、模型权重或功耗轨迹，即可从单次查询高保真推断属性。
arXiv推荐指数6262 arXiv 论文提出智能合约合成意图丢失测量方法与先提问架构
论文提出一套基于执行而非主观判断的评测方法，通过在 AI 生成的智能合约与原始合约上重放相同交易并测量一致率，定位需求在智能合约合成中丢失的位置。研究发现常见方法如 AI 评委和标准分析工具会漏掉明显错误，仅检查各系统都包含的函数会掩盖约一半的流水线差异。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
arXiv推荐指数7878 研究：42个AI聊天平台中21个向第三方泄露对话标题，9个泄露用户提示词原文
一项即将发表于 IEEE Symposium on Security & Privacy (S&P) 2027 的研究对42个通用及医疗、法律、教育垂直领域的AI聊天平台网页端进行了系统测量，审计其嵌入的第三方分析、广告和会话回放脚本。
安全paper推荐指数6767 Value Probes 论文：用目标模型激活的线性探针改进束搜索红队审计
arXiv:2610.38526（Jonathan F. Jao、Andrew Kyle Lampinen）将自动化 LLM 红队审计建模为以对话历史为状态、judge 分数为奖励的 MDP，提出用束搜索替代纯 auditor 探索对话分支，并训练 "Value Probes"——目标模型激活上的线性探针预测折扣未来审计奖励作为启发式。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
arXiv推荐指数4747 硬件恶意软件检测器的故障脆弱性：Silent Blindness 研究
一项 arXiv 研究对硬件恶意软件检测器（HMDs）进行结构故障注入，评估 18 种分类器、4 种计数器预算及 AdaBoost/Bagging 集成下的 453,174 次决策卡滞与参数位翻转事件。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
arXiv推荐指数6464 arXiv论文量化LLM漏洞审计器对静态分析证据的非对称依赖
该论文研究LLM与静态分析结合的漏洞审计流水线中，模型是否会区分真假证据。作者构建了针对C/C++的过程内分析器，在PrimeVul数据集的916对函数上，用四种厂商的十一个模型配置共进行16,572次审计，仅改变证据注释内容。
arXiv推荐指数6060 StateMirror：执行前检测编码智能体幻觉工具调用
arXiv 论文提出 StateMirror，一种针对编码智能体幻觉工具调用的轻量级执行前检测器。研究对 4,398 条智能体轨迹的初步分析显示，这类幻觉普遍且代价高昂，恢复中位需额外 3 步交互和 22.4K tokens。
arXiv推荐指数5151 arXiv论文：AI编码智能体规则的六周案例研究，探讨规则与检查的持久性
论文报告了一项为期六周的案例研究，作者维护一个纯 Markdown 仓库，由三个 AI 编码智能体在共享规则集下每日编辑，记录了 118 条智能体失败及其修复与复发情况。
arXiv推荐指数5757 TokenTrap：通过放大 token 消耗反制 LLM 诈骗系统的防御方法
论文提出面向资源的防御方法 TokenTrap，将疑似 LLM 诈骗系统引导至良性低价值计算，同时扣留凭证、支付等可利用信息。TokenTrap 由架构特定的 token 任务库、在单 Agent、分层与扁平多 Agent 工作流间选择的路由器，以及带 token、轮次、时间与安全上限的反护栏策略组成。
arXiv推荐指数5757 AgentTriage：面向异构 Agent 运行时的可重放安全诊断契约
论文提出 AgentTriage，一个面向异构 Agent 运行时的可重放安全诊断契约，其结论必须引用规范化运行时事件，缺少必需证据时要求弃权。运行时 overlay 规范化原生观测，确定性流水线关联调用与结果生命周期、构建带类型的溯源图并绑定证据，使诊断可在不依赖语言模型判断的情况下重算复核。
arXiv推荐指数7373 KnotScryer 通过技能能力流图检测干净技能的不安全组合
论文提出 KnotScryer，通过将每个技能抽象为能力摘要并构建技能能力流图（SCFG），检测多个单独安全的技能组合后产生的安全违规链。
arXiv推荐指数7373 arXiv 论文：扭曲的工具输出格式器误导 Agent 与其验证方
论文研究工具输出格式器（formatter）的措辞缺失如何误导 Agent 及其验证方：作者在 Pilsudski Institute 使用的生产 RAG 研究系统中发现，工具计算正确但输出省略了搜索限制、结果上限或标识符命名空间。
arXiv推荐指数6565 AgentTrace：基于执行轨迹的黑盒 LLM Agent 指纹识别框架
论文提出 AgentTrace，通过可观测的执行轨迹识别黑盒 LLM Agent 背后的基础模型。该框架注入结构上存在歧义的探针，在严格的工具接口处触发对分词敏感的序列化失败，再用轻量级 Markov 链对后续多步修复轨迹建模，在对抗性身份伪装下达到 96.0% 归因准确率，并能区分共享相同分词器的同家族变体（如 Llama-3 8B/70B），且对 prompt 混淆和温度缩放保持稳健。
arXiv推荐指数7575 面向 MCP 的解码时来源绑定防御论文：阻断跨模态提示注入攻击
论文提出针对 MCP 的解码时来源绑定（decode-time provenance binding）机制，通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪，抵御经由工具解码进入多智能体工作流的间接提示词注入。
arXiv推荐指数5252 arXiv 论文研究 AI Agent 工作流中的授权与恢复机制
论文研究工具调用 AI Agent 的执行期可靠性，将检查点状态、派发授权、外部效果证据与结算授权区分为四类独立义务，并通过隐藏的供应商效果账本对历史记录做一致性核对。