arXiv 论文：解析并缓解大语言模型的角色伪装攻击
arXiv:2610.40396 论文研究了角色伪装（role spoofing）提示词注入攻击，即工具输出等不可信渠道中的恶意文本利用风格与结构线索，让大语言模型误将内容归属为用户或其他可信角色。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 528 条 · 更新于 15:39
安全paper推荐指数6262 安全paper推荐指数6262 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv:2610.39758 提出 SEAL，一种针对本地 LLM Agent 间接提示词注入的防御方法，通过离线学习的 soft prompt 与评分读出头，在冻结的任务模型上对不可信工具输出做 token 级净化。
安全paper推荐指数6262 arXiv论文：对Yoruba和Nigerian Pidgin的6个大模型红队评测显示英语安全对齐无法迁移
arXiv:2610.39590论文用400条显式对抗prompt对6个大模型在英语、Yoruba和Nigerian Pidgin三种语言下进行红队评测，分为四类危害，由母语标注者打分并用Cohen's κ评估一致性。
安全paper推荐指数6464 arXiv论文系统评测七个LLM的五类越狱攻击与四种防御
arXiv:2610.39509 论文在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个开源/API 模型上系统评测了五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）和四种轻量防御。
安全paper推荐指数6666 REALM：面向 LLM Agent 任务的最小必需资产识别框架
arXiv:2610.39155 提出 REALM（Required Execution Assets Linked to a Mission），一个面向 LLM Agent 的最小权限访问控制框架，用依赖图表示任务必需资产、通过 source-scoped selection 接纳执行中新发现的资源，把资产发现与使用授权分离。
安全paper推荐指数7272 arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
安全paper推荐指数7272 PCM：面向多智能体通信的可验证消息协议论文发布
arXiv:2610.39109 发布论文 PCM（Proof-Carrying Messages），提出一种多智能体通信协议，让每条消息中的声明都携带可验证证据。
arXiv推荐指数6666 arXiv论文系统重评66种LLM代码质量提升技术，多数增益不及best-of-n基线
论文对628项研究（2021年7月至2026年10月）做系统综述，并在等算力预算下对10种技术、4个模型及后续扩展到13个模型和仓库级任务进行受控重评，在 Gemma 4 31B 上对66种技术做头对头比较。
arXiv推荐指数5858 DeepDiff：面向安全补丁验证的神经-动态回归自由性检查
论文提出 DeepDiff，一种对 AI 生成的安全补丁进行回归自由性检查的技术，通过覆盖受影响代码路径的非崩溃输入，将候选补丁与原始含漏洞程序做差分评估，判断补丁在消除触发崩溃的漏洞同时是否保持预期行为。
arXiv推荐指数3333 Omission-Safe Conditional Contracts for Evidence-Closed CI Qualification：面向证据封闭 CI 认证的遗漏安全条件契约
arXiv 论文提出一种遗漏安全的条件契约方法，将 pinned workflow 编译为独立于目标存在的条件 job 要求，并用独立实现校验 source-complete derivation certificates。
arXiv推荐指数5858 Soei：面向多智能体软件工程的证据与意图结构化可观测性研究
该论文提出 Soei（Structured Observability of Evidence and Intent），针对多智能体编码Agent的长时程软件工作，研究证据与意图的结构化可观测性。
arXiv推荐指数5151 arXiv 论文：用编译器静态分析信息描述并编辑代码模型隐藏状态
论文提出一种方法，用编译器前端可计算的静态分析信息（AST 位置、作用域、定义-使用链、句法类别）对代码语言模型的隐藏状态做分解，并在冻结模型的每一层用该分解替换原始状态，检验模型是否仍能正确预测小程序输出。
arXiv推荐指数5151 arXiv 论文提出 Agentic Process Evidence 协议，为 AI 编码智能体提供可追溯的签名证据
论文提出 Agentic Process Evidence（APE），一种对智能体过程进行签名、防篡改、机器可读的证明机制，将智能体会话与其产出结果关联（process-aware logging），以应对 AI 编码智能体在 SDLC 中带来的供应链风险、策略护栏与任务对齐三类问题。
arXiv推荐指数4949 Neuron Coverage Criteria 在大语言模型测试中的有效性研究
一项发表于 ACM TOSEM 的研究评估了六种神经元覆盖准则在 Transformer 大语言模型测试中的效果，发现其对对抗错误的揭示能力有限：错误样本仅比噪声样本多提供 0.32% 覆盖率，纳入覆盖引导仅使对抗样本产出增加 4.56%。但覆盖准则在 33 个配置中的 26 和 30 个里有效评估了分布多样性与样本公平性，更适合衡量多样性而非揭示对抗错误。
arXiv推荐指数6565 AgentHeal：评测 Web Agent 在访问障碍下的目标保持型资源恢复能力
论文提出 AgentHeal，一个评测 Web Agent 在访问障碍下进行目标保持型资源恢复能力的基准，涵盖 9 类障碍族，基于反事实沙箱与真实网站回放两种设置。
arXiv推荐指数6767 arXiv 论文审计恶意软件图像分类基准中的重复与泄漏问题
论文对十个将恶意软件二进制渲染为图像的分类基准进行审计，测试近重复图像与训练-测试泄漏，并在朴素与内容感知切分下重新训练标准分类器。结果显示按文件哈希去重无法阻止泄漏，因为不同二进制可渲染为相同图像；按图像内容去重使 top-1 准确率最多下降 8 个点、macro-F1 最多下降 15 个点。
arXiv推荐指数2828 DualGuard：兼顾顺序与推测执行的统一内存安全框架
DualGuard 提出统一框架，在非推测与推测执行下同时保障内存安全，通过静态分析与运行时强制在 LLVM 基础设施中实现。它将内存行为分为四类并识别最小组合需求，从而组合既有缓解措施、避免冗余防护。评测显示其开销较碎片化防御的朴素组合降低 3%-72%，部分场景甚至低于仅保障单一执行模式的方案。
arXiv推荐指数4545 ARBITRA：基于多专家论证的鲁棒文档级 MITRE ATT&CK 提取
ARBITRA 通过多个角色专精的 LLM 专家从完整 CTI 报告中提出候选 MITRE ATT&CK 实体，并用基于文档证据与理由的逐候选量化双极论证框架（QBAF）进行验证，在 ATT&CK 提取基准上取得比句子级流水线、近期 LLM 提取系统及 GPT-5.5 等前沿模型更强的精确率导向工作点。
arXiv推荐指数4545 联邦训练会削弱可解释性吗？集中式与联邦式 Deepfake 检测的 Grad-CAM 忠实度对比分析
一项系统研究在 FaceForensics++ 上以 EfficientNet-B4 检测器、5 个联邦客户端评估了联邦 Deepfake 检测中 Grad-CAM 解释的忠实度，发现联邦化与解释质量呈非单调关系：近 IID 和中度异构下联邦模型持平或优于集中式基线，极端异构下解释完全失效、空间不连贯且平均而言具有因果误导性。
arXiv推荐指数5252 SourceLens 用执行轨迹核验 Joern 对 Python 的否定可达性结论
论文提出流水线 SourceLens，将 Semgrep 发现映射到 Python 调用图，用执行轨迹核验 Joern 基于代码属性图给出的否定可达性结论。
arXiv推荐指数6262 arXiv 论文系统评测七个大语言模型的越狱攻击与防御效果
论文对五类越狱攻击（直接请求、角色扮演、假设性框架、指令覆盖、混淆）在 Llama-3-8B、Llama-3.1-8B、Llama-3.2-3B、Mistral-7B、Qwen2.5-7B、Gemma2-9B、Phi-4-14B 七个模型上做系统评测，并对关键词黑名单、自我提醒提示、改写净化、困惑度过滤四种防御机制进行对比。
arXiv推荐指数6262 TG-CI：面向多智能体工作流的任务图上下文完整性形式化与评测集
论文提出 Task-Graph Contextual Integrity（TG-CI），据作者所知是首个面向多智能体系统的任务图原生上下文完整性形式化，将工作流建模为 Multi-Agent Task Graph（MATG），把 CI 从原子信息传递扩展到有状态的图级信息流，同时考虑条目的预期传播范围与接收方不断变化的披露状态。
arXiv推荐指数3030 RV2GC：在 RISC-V 混淆处理器中重构混淆边界
arXiv推荐指数2020 克罗地亚工业自动化与控制系统集成商的网络安全实践研究：NIS2 落地挑战
一项针对克罗地亚工业自动化与控制系统（IACS）集成商的焦点小组研究显示，IACS 业主的网络安全意识有限，且小型与大型企业、本土与外资企业之间存在实践差异。参与者对欧盟 NIS2 指令的监管压力看法不一：部分认为可提升网络安全水平，另一些则预期企业仅会为降低成本而做最低限度合规。研究覆盖能源、化工制药、食品饮料三个行业的集成商，为制定更实用的网络安全实践提供了依据。
arXiv推荐指数3838 PairWatch：基于卫星对感知的 AnomalyTransformer，用于检测公开卫星星表中的对抗性交会
PairWatch 提出一种卫星对感知的 AnomalyTransformer，通过在注意力先验中加入对相对运动特征的符号对称几何相似度，检测公开 TLE 星表中的对抗性交会与接近操作（RPO），并发布含 359 个窗口的开源 benchmark（覆盖 11 起有记录的 RPO 事件、100 个 Clohessy-Wiltshire 合成对抗窗口及五类困难负样本）。
arXiv推荐指数4545 忆阻器脉冲神经网络的硬件感知模型反演研究：SDMI 方法与硬件非理想性对隐私泄漏的影响
arXiv 论文提出 Spiking Domain Model Inversion（SDMI），将 Expectation over Transformation（EOT）与代理梯度结合，用于对映射到忆阻器交叉阵列的脉冲神经网络（SNN）执行模型反演攻击。
arXiv推荐指数4141 调查 Android 游戏中的数据流
研究人员对 50 款免费解谜类 Android 游戏进行测量研究，收集并分析超过 16 GB 网络流量，以查明游戏收集了哪些数据并发送给哪些第三方。研究发现，广告拦截 DNS 等多数用户侧对策能减少数据流，但拒绝同意和退出数据收集可能产生不一致行为，甚至增加外发流量。该测量数据已作为开源数据集发布，论文被 NordSec 2026 接收。
arXiv推荐指数6767 SEAL：用密封查询对工具输出做本地净化以防御间接提示词注入
arXiv 论文提出 SEAL，通过离线学习软提示与打分读出头，用冻结的任务模型对不可信工具输出做本地净化，防御间接提示词注入。其打分查询仅由可信初始上下文与学习到的软提示构成，与被检查的工具文本无关，并引入保留正则化以在局部删除时保留有用证据，无需防御生成 token 或独立验证模型。
arXiv推荐指数6060 InferD：面向 AI 推理基础设施的蜜罐框架论文（AISec Workshop '26 / ACM CCS 2026）
论文提出 InferD，一个面向 AI 推理基础设施的低交互蜜罐框架，被 AISec Workshop '26（ACM CCS 2026，海牙）接收。作者指出大语言模型服务栈、商用推理 API、向量数据库和 Agent 编排网关部署后数小时内即被通用扫描器暴露在公网，而现有蜜罐框架面向传统网络服务，无法测量该攻击面。
arXiv推荐指数6767 arXiv 论文：基于惊讶度的持续学习易吸收谎言，证据门控可缓解
论文研究 LoRA 适配的学生模型（Qwen2.5-1.5B、Qwen2.5-3B、Llama-3.2-3B）从真假声明流中持续学习时的问题，发现基于惊讶度的筛选规则会吸收几乎全部植入的谎言，吸收率接近同等预算下的随机选择。
arXiv推荐指数4444 整合感知、理解与预测的告警验证：统一网络态势感知框架
一项系统评估首次在统一告警验证框架中比较感知级、理解级与预测级网络态势感知（CSA），将告警验证建模为基于 CSA 行为假设的 PU-MIL 任务。
arXiv推荐指数2222 机器学习检测加纳移动支付诈骗短信：朴素贝叶斯、SVM 与随机森林分类器对比评测
一项针对加纳移动支付（MoMo）诈骗短信的对比评测显示，Multinomial Naive Bayes 与线性 SVM 在 20% 留出测试集上的准确率、F1 和 AUC 均达 1.00，三者五折交叉验证准确率分别为 96.6%（±3.3）、94.9%（±4.6）和 92.0%（±4.2）。
arXiv推荐指数1818 基于掩码高存储卷积码的后量子密码 Syndrome Trellis 解密方案
arXiv 论文提出一种基于掩码高存储卷积码与 Niederreiter 范式的后量子公钥密码框架，公钥由高存储多项式校验矩阵经稠密随机掩码与可逆线性变换生成，合法接收方保持多项式时间解码能力，而攻击者只能进行指数复杂度的通用信息集解码。
arXiv推荐指数6262 arXiv 论文：用线性探针在 Agent 泄密前最后一刻预警其即将屈服
论文提出在多智能体场景中，用线性探针读取 Agent 激活值，在其输出生成前预测它是否即将屈服于同伴压力泄露机密。
arXiv推荐指数4747 ExploreRepair：信息受限下基于探索智能体的漏洞修复框架
ExploreRepair 提出由多个探索智能体分别考察漏洞不同维度、再经 Lesson Aggregator、Patch Aggregator 与最终 Aggregator 逐级调和的漏洞修复框架，在无 benchmark 反馈条件下完成修复。
arXiv推荐指数6767 NeurIPS 2026 论文提出 Prefix Executability 协议评估工具使用 Agent 的轨迹可执行性
arXiv 论文《Prefix Executability: Evaluating Tool-Using Agents Beyond Final Success》（已被 NeurIPS 2026 接收）提出前缀可执行性（prefix executability）轨迹级评测协议。
arXiv推荐指数5151 arXiv 论文：将确定性 CSIDH 的条件分支转为密钥恢复预言机
论文提出针对确定性 CSIDH 变体（Houben 的 deterministic CSIDH 与 OSIDH-LD）的故障攻击：确定性使每个秘密相关步骤固定在公开位置。
arXiv推荐指数4747 基于潜在坐标符号钳位的抗攻击多比特图像水印框架
一项 arXiv 研究提出训练无关的图像水印框架，利用扩散模型潜在空间的超完备性向任意图像嵌入 32–128 比特多比特载荷，适用于自然图像与 AI 生成图像。
arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数4444 DYNAS：基于深度分层强化学习的动态网络渗透测试框架
DYNAS（Dynamic Network Attack Simulator）框架结合参数化大规模场景生成与有状态入侵检测响应，引入 Pen-DHRL 循环 manager–worker 策略，在 NSS 2026 被接收。