Soei:面向多智能体软件工程的证据与意图结构化可观测性研究
该论文提出 Soei(Structured Observability of Evidence and Intent),针对多智能体编码Agent的长时程软件工作,研究证据与意图的结构化可观测性。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
该论文提出 Soei(Structured Observability of Evidence and Intent),针对多智能体编码Agent的长时程软件工作,研究证据与意图的结构化可观测性。
论文提出 Agentic Process Evidence(APE),一种对智能体过程进行签名、防篡改、机器可读的证明机制,将智能体会话与其产出结果关联(process-aware logging),以应对 AI 编码智能体在 SDLC 中带来的供应链风险、策略护栏与任务对齐三类问题。
DIFUZZI 是一款差分模糊测试工具,通过引入基于 LLM 的输入生成器合成步骤(迭代验证与修复),自动化构建适配目标程序对的输入生成器,从而降低差分模糊测试的应用门槛。该工具已开源发布,并附有演示视频。
arXiv 论文提出 Tracekit Box,一个 MIT 许可的开源系统(v0),让每个 AI Agent 任务运行在独立的 Firecracker micro-VM 中且不配网卡,所有出口(命令、外连、密钥、模型调用、工作区补丁)都经 vsock 走宿主机上的签名器,由 Agent 无法触及的 Tracekit signer 决定放行内容并签名写入每盒一次的运行记录。
arXiv 论文提出 WebMaze 防御方法,在不改变真实应用功能的前提下,将基于 LLM 的恶意 Web 扫描器引向生成的诱饵世界。作者系统研究了六个 LLM 扫描器如何收集信息并基于观察迭代选择动作,在真实页面中嵌入功能耦合陷阱,并从应用现有视图构建视图定制的交互式诱饵世界。
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》(作者 Nghi D. Q. Bui)提出一种免训练方法:让智能体在读用户回复前先写一份私有 Claim Checklist,逐条记录主张、支撑证据与置信度,收到质疑时据此决定保留、复核、澄清或修复。
论文提出一个六模块扫描器(内容提取、本地分析、组合分析、验证、报告、缓解),用于检测 Agent Skills 中的非预期漏洞及多技能组合风险。
论文提出一套基于执行而非主观判断的评测方法,通过在 AI 生成的智能合约与原始合约上重放相同交易并测量一致率,定位需求在智能合约合成中丢失的位置。研究发现常见方法如 AI 评委和标准分析工具会漏掉明显错误,仅检查各系统都包含的函数会掩盖约一半的流水线差异。
论文对 Claude Code、Codex、Gemini CLI、Qwen Code 和 OpenCode 共 1,886 个版本首次模型请求中的指令栈进行纵向跨智能体研究,分析其构成与演化,并对四个开源智能体的变更追溯到有据可查的动机。
arXiv 论文提出 StateMirror,一种针对编码智能体幻觉工具调用的轻量级执行前检测器。研究对 4,398 条智能体轨迹的初步分析显示,这类幻觉普遍且代价高昂,恢复中位需额外 3 步交互和 22.4K tokens。
论文报告了一项为期六周的案例研究,作者维护一个纯 Markdown 仓库,由三个 AI 编码智能体在共享规则集下每日编辑,记录了 118 条智能体失败及其修复与复发情况。
DeepAVR 提出一个多智能体协作的端到端自动化漏洞修复(AVR)框架,将修复过程分解为故障定位、补丁生成、编译验证、安全验证、功能验证与补丁审查等角色,并引入补丁条件化重定位与面向根因的补丁审查。在真实 C/C++ 漏洞修复数据集 VulnLoc 上,DeepAVR 为 92.3% 的漏洞生成了正确补丁,显著优于先前方法;在 SAN2VULN 上也展现出对训练期间未见漏洞的良好泛化能力。
论文提出评测集 ImpasseBench,研究编码智能体在环境阻塞时何时应停止并升级求助。该评测向可解修复任务注入 12 种环境阻塞,并标注轨迹中证据已充分的步骤,以区分合理努力、过度坚持与过早移交。
论文提出 Ulysses,一个多智能体安全框架,用于为 Web 应用合成可验证的漏洞利用证明(Proofs of Exploitability),通过迭代探索利用假设并在独立观测的执行效果中确认成功,将候选漏洞发现转化为已验证结果。
论文提出模拟控制评测(SCEs),用语言模型模拟工具响应以替代真实环境,扩展控制评测的适用范围。在 LinuxArena 上,SCEs 在 5% 审计预算下预测安全性的均方根误差为 3.6 个百分点。
arXiv:2610.33318 论文提出 Enclawed,一个面向 LLM 驱动 HPC 工作流的确定性安全运行时,通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank,即使控制主机或协调器被攻陷也能维持防护。
论文提出 report-trace auditing,用于校验 GUI Agent 的完成声明是否与独立记录的执行轨迹一致,并定义了轨迹无法支撑的危险误报(dangerous misreport)。
AssureCode 提出一种工具支持的方法论,用结构化论证(structured argumentation)驱动 AI 辅助软件开发,将自然语言 prompt、形式化规约、开发者意图假设与程序分析证据以可验证的格式关联起来。
论文提出 PAUSE 框架,在编码智能体执行首次源代码编辑前拦截并注入一次修复计划,无需学习型监控、检查点搜索或额外模型调用。
研究提出从源码直接构建、绕过包注册表来阻断恶意包,基于 47,066 个恶意包与 npm/PyPI 共 33,138 个样本的评估显示,仅检查源码归属即可拦截 87.7%–99.9% 的恶意包。但良性包透明度不足,仅 47.4% 标注了可供终端用户构建的源码来源。
研究提出 source interventions 方法,用仅差一个 commit、同一输入只在一个源码树上崩溃的配对样本,测试编码智能体是否真能推理执行行为。
研究者提出一种在 token 级建模 AI 作者身份、并在行、块、文件三级预测的框架,用冻结代码语言模型加两个低秩适配器,以逐 token 对数似然比作为局部证据。
论文提出“可问责的部分理解”(APU)框架,用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类(针对意图解释、证据生产与消费、委托权限范围、人类监督者理解),并规定 APU 的六项必要条件与五项设计原则。
作者提出 SPLASH 方法,通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure,用于在模型候选程序中挑选安全代码并定位漏洞语句,无需模型训练、CWE 专用规则或生成模型内部访问。
研究者提出 KEX-bench,用 40 个真实 Linux 与 Windows CVE 构造 45 个任务,检验编码智能体能否把内核漏洞转成可验证的利用原语。