arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6666 arXiv论文系统重评66种LLM代码质量提升技术，多数增益不及best-of-n基线
论文对628项研究（2021年7月至2026年10月）做系统综述，并在等算力预算下对10种技术、4个模型及后续扩展到13个模型和仓库级任务进行受控重评，在 Gemma 4 31B 上对66种技术做头对头比较。
arXiv推荐指数5858 DeepDiff：面向安全补丁验证的神经-动态回归自由性检查
论文提出 DeepDiff，一种对 AI 生成的安全补丁进行回归自由性检查的技术，通过覆盖受影响代码路径的非崩溃输入，将候选补丁与原始含漏洞程序做差分评估，判断补丁在消除触发崩溃的漏洞同时是否保持预期行为。
arXiv推荐指数3333 Omission-Safe Conditional Contracts for Evidence-Closed CI Qualification：面向证据封闭 CI 认证的遗漏安全条件契约
arXiv 论文提出一种遗漏安全的条件契约方法，将 pinned workflow 编译为独立于目标存在的条件 job 要求，并用独立实现校验 source-complete derivation certificates。
arXiv推荐指数5858 Soei：面向多智能体软件工程的证据与意图结构化可观测性研究
该论文提出 Soei（Structured Observability of Evidence and Intent），针对多智能体编码Agent的长时程软件工作，研究证据与意图的结构化可观测性。
arXiv推荐指数5151 arXiv 论文：用编译器静态分析信息描述并编辑代码模型隐藏状态
论文提出一种方法，用编译器前端可计算的静态分析信息（AST 位置、作用域、定义-使用链、句法类别）对代码语言模型的隐藏状态做分解，并在冻结模型的每一层用该分解替换原始状态，检验模型是否仍能正确预测小程序输出。
arXiv推荐指数5151 arXiv 论文提出 Agentic Process Evidence 协议，为 AI 编码智能体提供可追溯的签名证据
论文提出 Agentic Process Evidence（APE），一种对智能体过程进行签名、防篡改、机器可读的证明机制，将智能体会话与其产出结果关联（process-aware logging），以应对 AI 编码智能体在 SDLC 中带来的供应链风险、策略护栏与任务对齐三类问题。
arXiv推荐指数4949 Neuron Coverage Criteria 在大语言模型测试中的有效性研究
一项发表于 ACM TOSEM 的研究评估了六种神经元覆盖准则在 Transformer 大语言模型测试中的效果，发现其对对抗错误的揭示能力有限：错误样本仅比噪声样本多提供 0.32% 覆盖率，纳入覆盖引导仅使对抗样本产出增加 4.56%。但覆盖准则在 33 个配置中的 26 和 30 个里有效评估了分布多样性与样本公平性，更适合衡量多样性而非揭示对抗错误。
arXiv推荐指数6565 AgentHeal：评测 Web Agent 在访问障碍下的目标保持型资源恢复能力
论文提出 AgentHeal，一个评测 Web Agent 在访问障碍下进行目标保持型资源恢复能力的基准，涵盖 9 类障碍族，基于反事实沙箱与真实网站回放两种设置。
arXiv推荐指数6767 arXiv 论文审计恶意软件图像分类基准中的重复与泄漏问题
论文对十个将恶意软件二进制渲染为图像的分类基准进行审计，测试近重复图像与训练-测试泄漏，并在朴素与内容感知切分下重新训练标准分类器。结果显示按文件哈希去重无法阻止泄漏，因为不同二进制可渲染为相同图像；按图像内容去重使 top-1 准确率最多下降 8 个点、macro-F1 最多下降 15 个点。
arXiv推荐指数2828 DualGuard：兼顾顺序与推测执行的统一内存安全框架
DualGuard 提出统一框架，在非推测与推测执行下同时保障内存安全，通过静态分析与运行时强制在 LLVM 基础设施中实现。它将内存行为分为四类并识别最小组合需求，从而组合既有缓解措施、避免冗余防护。评测显示其开销较碎片化防御的朴素组合降低 3%-72%，部分场景甚至低于仅保障单一执行模式的方案。
arXiv推荐指数4545 ARBITRA：基于多专家论证的鲁棒文档级 MITRE ATT&CK 提取
ARBITRA 通过多个角色专精的 LLM 专家从完整 CTI 报告中提出候选 MITRE ATT&CK 实体，并用基于文档证据与理由的逐候选量化双极论证框架（QBAF）进行验证，在 ATT&CK 提取基准上取得比句子级流水线、近期 LLM 提取系统及 GPT-5.5 等前沿模型更强的精确率导向工作点。
arXiv推荐指数4545 联邦训练会削弱可解释性吗？集中式与联邦式 Deepfake 检测的 Grad-CAM 忠实度对比分析
一项系统研究在 FaceForensics++ 上以 EfficientNet-B4 检测器、5 个联邦客户端评估了联邦 Deepfake 检测中 Grad-CAM 解释的忠实度，发现联邦化与解释质量呈非单调关系：近 IID 和中度异构下联邦模型持平或优于集中式基线，极端异构下解释完全失效、空间不连贯且平均而言具有因果误导性。
arXiv推荐指数5252 SourceLens 用执行轨迹核验 Joern 对 Python 的否定可达性结论
论文提出流水线 SourceLens，将 Semgrep 发现映射到 Python 调用图，用执行轨迹核验 Joern 基于代码属性图给出的否定可达性结论。