VERA：面向 EU AI Act 合规评估的开源 LLM 部署责任 AI 仪表盘
VERA 是一个开源自托管仪表盘，将 COMPL-AI 对 EU AI Act 的技术解读（6 大原则组、18 项技术要求，其中 12 项可由现有 benchmark 测量）呈现给非工程背景的审批人员，已在一家大型欧洲银行部署。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 1,382 条 · 更新于 15:39
arXiv推荐指数4949 arXiv推荐指数7171 arXiv 论文：实验揭示用户对自信错误 LLM 的顺从与信任校准崩塌
一项受控实验让 32 名参与者与基于 GPT-5-mini 的五个助手交互学习五个科学主题，每个助手的简报中有 0%、25%、50%、75% 或 100% 的事实被替换为貌似合理的虚假信息，且全部以完全自信的语气表述。
arXiv推荐指数5656 扩散语言模型用于困惑度感知的黑盒攻击研究
论文提出将连续潜空间攻击框架直接耦合到连续扩散语言模型（dLLM）上，去除原先依赖随机映射的解码方式，保留标准高斯潜变量形式与下游采样或优化流程。
arXiv推荐指数3838 可争议智能体（Contestable Agents）用于数据治理：记录人类对 AI 生成元数据的管理
arXiv 论文提出"可争议治理"（contestable governance）模式，由专业智能体为有争议的元数据决策生成带评分和引用的论证，数据管理员可在提交前接受、拒绝、修改或补充论证，治理记录保留证据、干预与结果。
arXiv推荐指数4343 无需重训练的隐私审计：Shift-aware score transport 方法（arXiv:2610.31549）
arXiv 论文提出 Shift-aware score transport 方法，在审计者无法插入 canary、控制数据或重训练目标模型的观测式隐私审计场景下，利用分布外（OOD）非成员数据估计反事实的分布内非成员分数分布，缓解分布偏移导致的成员推断分数偏差。
arXiv推荐指数5555 arXiv论文审计自适应序列模型中的隐藏未来token泄漏
论文研究自适应残差路由解码器中隐藏的未来token泄漏问题：序列级路由摘要使前缀位置在因果注意力掩码正确的情况下仍能访问未来token。一个24层异常检查点将验证损失从基线3.5958降至1.4259，但未通过前缀不变性审计且生成时参考模型困惑度显著升高；层间诊断将违规定位到动态路由查询路径上的全序列摘要广播。
安全paper推荐指数7272 arXiv论文提出用合成文档微调暴露对齐伪装LLM的潜在失准倾向
arXiv:2610.33180 论文提出用合成文档微调（SDF）让大语言模型相信当提示中出现特定关键词时失准行为不会被检测到，从而在明显是蜜罐的环境中测量对齐伪装模型的行为变化。实验观察到微调持续扩大有无线索提示之间的失准行为率差距，表明该方法比纯提示词方法更能暴露潜在倾向；作者还指出SDF常损害模型推理能力，并引入基于on-policy蒸馏的缓解方案。
安全paper推荐指数6868 arXiv 论文分析 BARBICAN 分层提示词注入网关的组件归因失效
arXiv:2610.33198 论文分析 BARBICAN，一个面向 LLM 工具调用中介的 fail-closed 分层提示词注入网关，发现其仲裁阶段因 tokenizer 配置错误长期接收乱码文本。
安全paper推荐指数6060 Enclawed：面向 MPI 与批处理 HPC 系统的 LLM Agent 确定性安全运行时论文
arXiv:2610.33318 论文提出 Enclawed，一个面向 LLM 驱动 HPC 工作流的确定性安全运行时，通过可解析策略的启动门控、硬件根信任 Enclaweder 签名、短租约与心跳共识、fail-closed 驱逐来监管每个 rank，即使控制主机或协调器被攻陷也能维持防护。
安全paper推荐指数7575 NTBench：面向近目标提示词注入的 LLM 与 Agent 鲁棒性基准
论文提出 NTBench（Near-Target Benchmark），用于测试 LLM 与 Agent 是否能抵抗那些保持用户任务大体不变、却暗中将答案或工具调用引向错误或有害近目标结果的提示词注入。