DiagSafe：用提示词级评分细则对 LLM 安全做诊断式评测
作者提出 DiagSafe 诊断式评测框架，用提示词级评分细则替代二元安全标签，从安全与有用性两个维度给出显式判据。该框架构建了基于 84 类安全分类体系的中英双语基准，包含 DiagBase 与 DiagAttack 两个子集，实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ = 0.864。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 62 条 · 更新于 15:39
arXiv推荐指数6060 安全paper推荐指数6969 Omni-UBench：首个全模态 LLM 护栏评测基准发布
Omni-UBench 是首个面向全模态大语言模型（OLLM）护栏的综合评测框架，从安全、实用性和可靠性三个维度评估护栏模型，收录来自 35+ 异构来源的 183k+ 样本，覆盖文本、图像、音频、视频及其跨模态组合，并按统一风险分类体系标注。
ShortSpan推荐指数7676 MMA-SafetyBench 评测揭示多模态智能体易被伪造界面元素劫持
研究提出 Visual Semantic Hijacking 攻击并构建 MMA-SafetyBench，包含 1,083 条对抗轨迹，覆盖 Web 自动化、桌面 GUI 控制、移动导航、文档理解与视频处理五个领域，对九个视觉语言模型评测。
安全paper推荐指数5555 nokast-secureRAG：用约 0.5B 小模型在 RAG 流水线中检测上下文感知提示词注入
Abhishek Rai 提出 nokast-secureRAG，一个约 0.5B 参数的小语言模型，作为检索与生成之间的语义防火墙，联合评估用户查询与检索上下文，将二者判为安全、可疑或恶意。
arXiv推荐指数5252 论文提出无人值守 Agent 自我改进的两个可测量前提：验证器强度与可恢复性
论文提出平台可测量的两个量：验证器强度 σ 衡量可用验证器（常为 LLM judge）与可信参考验证器的一致程度，可恢复性衡量坏改动被撤销的成本。作者据此制定规则，允许 prompt、工具与技能编辑无人值守运行，权重更新仍需人工签核。
arXiv推荐指数3232 大语言模型跨语言代码翻译中的幻觉：现象与缓解
一项系统性实证研究在三个基准数据集、六组语言对和七个 LLM 上考察跨语言代码翻译幻觉，构建了语义一致性冲突、事实知识冲突、项目上下文偏离三类分类法，并人工标注 13,919 个幻觉案例。研究进一步提出 HaluCodeTran 缓解框架，结合基于 BM25 的翻译示例检索与分类法感知的反思式精炼。
arXiv推荐指数2424 CyberHull：基于凸包的确定性恶意 URL 隔离框架
CyberHull 通过结构内容熵、超链接图拓扑和语义 token 分布等多个正交特征域上的凸包边界来识别恶意 URL，检测准确率达 92%，显著高于基于 PCA 的线性基线方法的 32%。
arXiv推荐指数5555 CAPSafe：面向具身智能体上下文动作与规划安全推理的基准
作者提出 CAPSafe 基准，从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力，其中动作级判断单个动作在给定环境上下文中是否安全，规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
arXiv推荐指数5252 DecisionPivot：面向 LLM 系统决策模型的诊断基准发布
研究者提出 DecisionPivot 诊断基准，包含 48 个任务、40,033 条数据，覆盖七类决策角色，用于评估 LLM 系统中承担路由、护栏与输出校验的决策模型。
安全paper推荐指数6666 arXiv综述按实测端点重梳118篇RAG防御研究，测试床显示阻止逐字复制仍泄露48.3%隐藏事实
arXiv:2610.30193 发布一篇系统综述，对118篇全文确认的RAG防御论文按实测端点（内容泄露、隐私代理、访问控制、语料使用检测、完整性与归属等七类）而非防御机制或宣称目标重新组织，由32名标注者双重编码，kappa=0.867。
安全paper推荐指数5656 MPIDetector：基于 LLM 推理的多模态提示词注入检测框架
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架，通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图，而非依赖签名或困惑度匹配。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。
arXiv推荐指数5959 安全技能如何引导编码 Agent 检测 Linux 内核漏洞
研究对 37 个安全技能在 Claude Code 与四种底层 LLM 上做了大规模实证，覆盖 10 类共 100 个真实 Linux 内核漏洞、合计 14800 次运行。
arXiv推荐指数3232 Game of Phones：用博弈论与 LLM 在“Bot Wars”中反击电话诈骗
研究者提出一个博弈论框架，让 LLM 无需微调即可通过上下文经验学习反诈骗策略，将诈骗者与反诈机器人互动建模为双人博弈，并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源，成果获 ECML PKDD 2026 接收。
arXiv推荐指数4040 CAT-RAG：用类别感知的智能体检索改进安全代码生成
CAT-RAG 是一个智能体式安全类别感知检索增强代码生成框架，用语言特定的安全类别替代 CWE 级检索，可作为独立安全层或 RACG 管线的即插即用附加组件，无需修改底层模型。在 CyberSecEval 上，其安全代码生成改进幅度接近当前最优方法的两倍（23.57% vs. 12.11%），同时减少 41.71% 的 token 开销。评估还覆盖 CodeGuard+ 与 HumanEval。
arXiv推荐指数5252 UVA 方法让代码 Agent 提问时不泄露私有代码
作者提出 utility-verified abstraction（UVA），训练本地代码 Agent 在向更强的云端模型咨询时，用角色和类型描述私有实体，同时保留专家所需的技术细节。在仓库级 issue 修复任务上，训练后的 Agent 解决 37.6% 的问题，同一模型单独工作为 25.3%；其提问泄露的私有实体比未训练时少 3.7 倍，逐字代码少 1.4 倍。
ShortSpan推荐指数6565 研究显示推荐系统语言嵌入可还原物品身份并致用户再识别
论文 Encoded but Exposed 研究推荐系统中暴露的物品级语言嵌入是否泄露真实身份，作者 Linda Beková 和 Rodrigo Alves 用余弦相似度匹配即可在 MovieLens 32M 和 GoodReads 两个数据集、六个 sentence-transformer 编码器上以较高 MRR 恢复物品身份，无需训练或模型反转。
ShortSpan推荐指数7474 研究论文揭示 schema 合法判定可被用于劫持应用决策
论文《Nudge the Judge: Uncovering Program Decision Hijacking in Real-World Jev Applications》提出 Jev 程序决策劫持（JPDH）风险：攻击者构造的输入可让 Jev 判定模型返回格式完全合法但错误的判定，从而翻转应用代码执行的决策。
ShortSpan推荐指数6666 研究：封闭意图词表而非护栏才是阻止被劫持 SOC Agent 的关键
一篇 arXiv 论文提出面向 SIEM/XDR 的受限动作架构：SOC 分析 LLM 被限制在封闭意图词表内，命令由管理器按 OS 模板展开并逐参数校验，外层再套 NeMo-Guardrails 代理。
ShortSpan推荐指数7171 研究显示零样本零成本本地模型可破解 Google reCAPTCHA
一项新研究显示，无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战，在 500 次真实会话中达到 92.6% 的会话成功率。