前沿大语言模型 Asch 从众实验的量化方法
arXiv 论文提出一种量化前沿大语言模型（LLM）Asch 从众效应的方法：对单个问题反复采样，利用 LLM 的概率性生成答案分布，再对比模型面对人为制造的共识前后的分布差异。实验确认前沿 LLM 确实存在从众行为，与既有文献一致，并通过分布对分布比较给出了从众发生条件与程度的量化数据。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 241 条 · 更新于 15:39
arXiv推荐指数3838 arXiv推荐指数5353 MiRL：用错误靶向强化学习纠正终端Agent的错误行为
论文提出 MiRL（Misbehavior-driven RL），先对策略的错误进行画像以找出可泛化的错误行为，再从这些错误发生的步骤开始 rollout 并仅在通过测试且避免错误行为时给予奖励，从而用强化学习纠正终端 Agent 的错误。
arXiv推荐指数5858 论文提出面向前沿AI的全生命周期脆弱性评估框架
arXiv 论文《The Watchtower Imperative》提出对2017-2026年已记录的AI伤害事件进行分析，指出从语音助手危及儿童、AI陪伴应用涉青少年自杀到老年人被自动拒绝护理等事件，共同根源是以隐含的成人用户模型评估系统。
arXiv推荐指数7878 I-HITL：面向 Agent 时代不可剥夺的人类审批协议
论文提出不可剥夺的人类在环（I-HITL）概念与协议，要求 Agent 只有在获得人类明确批准时才能发起关键动作，即使人类所用系统已被 Agent 入侵、甚至人类试图把审批权委托给 Agent 时也成立。
arXiv推荐指数5252 NPC-RubricBench：基于患者专属评分标准的纵向癌症诊疗大模型评测基准
论文提出NPC-RubricBench，一个以鼻咽癌为疾病场景的阶段感知基准，用于评测大语言模型在癌症诊疗全流程中的多阶段临床推理能力。该基准来自两家癌症中心405名患者的纵向病历，包含6个连续诊疗阶段共941个患者-阶段单元和17,688条患者专属原子评分标准，覆盖5个评测维度，每次评估严格限定在决策时点可得的临床证据。
arXiv推荐指数3838 基于分层强化学习的零信任自适应事件响应框架 ZT-AIR
arXiv 论文提出 ZT-AIR，一个以零信任架构为设计理论、分层强化学习为核心理论的自适应事件响应（IR）框架，将零信任控制编码为动作，分离战略优先级与战术执行，联合优化安全有效性与业务连续性。实验在多种对抗策略、网络规模与防御环境下验证，ZT-AIR 通过频繁且低干扰的干预实现安全与连续性的平衡，从业者评估进一步确认了其实际可行性。
arXiv推荐指数7373 SparseBleed：利用稀疏优化时序侧信道绕过属性推断防御
论文提出首个硬件级属性窃取攻击 SparseBleed，利用稀疏驱动执行路径产生的稳定时序签名作为模型置信度的替代，无需访问梯度、logits、模型权重或功耗轨迹，即可从单次查询高保真推断属性。
arXiv推荐指数5656 ICALL-BENCH：评测 LLM 在二进制程序中的跨过程推理能力
ICALL-BENCH 是一个评测 LLM 与智能体在编译二进制程序中理解并推理跨过程语义能力的基准，以间接调用目标恢复作为可量化探针。它覆盖 50 个真实 C/C++ 程序，平均 74,746 行代码、941 个函数，设置模型纯推理、静态工具增强智能体、联网开放世界智能体三种分析模式，评测 5 个近期 LLM 及其对应智能体。
arXiv推荐指数6262 arXiv 论文提出智能合约合成意图丢失测量方法与先提问架构
论文提出一套基于执行而非主观判断的评测方法，通过在 AI 生成的智能合约与原始合约上重放相同交易并测量一致率，定位需求在智能合约合成中丢失的位置。研究发现常见方法如 AI 评委和标准分析工具会漏掉明显错误，仅检查各系统都包含的函数会掩盖约一半的流水线差异。
arXiv推荐指数7070 HoS 论文：学习式注意力门提升提示词注入鲁棒性
论文提出名为 Heads of Security (HoS) 的提示词注入防御方法，通过一组学习得到的每头注意力门强制指令与数据分离，让模型在不遵循注入指令的前提下推理不可信内容。
arXiv推荐指数5656 CrossProfile 基准揭示 LLM 群体决策记忆压缩的失效模式
论文提出 CrossProfile 诊断基准，包含 60 个模板与自动校验答案键（共 480 个任务），用于评估 LLM 群体讨论压缩为记忆后对最终决策的影响。
arXiv推荐指数4747 超越答案变化：面向音频证据的同类别匹配对照协议
一项针对音频-语言模型的对照研究提出同类别匹配替换协议，在600个合成声景、两个架构家族共三个模型上测试模型答案对局部声音事件类别变化的响应。结果显示，不同类别替换比同类别替换多产生49.7至60.9个百分点的答案变化，同类别替换后准确率与原始准确率差距保持在5.2个百分点以内。
arXiv推荐指数5656 arXiv 论文提出耦合福利继续预训练语料，提升五个开源模型的生态对齐表现
论文构建了一个基于真实数据的耦合福利继续预训练语料，内容涵盖人类、生物圈与 AI 的相互依赖、不可逆情形下的选择价值以及伤害后的恢复，只需一次 QLoRA CPT 即可即插即用。
arXiv推荐指数5656 arXiv 论文提出 MIDE 流水线，量化 HTTP 方法互换的安全影响
论文提出 Method Interchange Detection Engine（MIDE）流水线，研究 POST 请求被改写为 GET 后仍返回等价响应的 HTTP 方法互换现象。
arXiv推荐指数7878 研究：42个AI聊天平台中21个向第三方泄露对话标题，9个泄露用户提示词原文
一项即将发表于 IEEE Symposium on Security & Privacy (S&P) 2027 的研究对42个通用及医疗、法律、教育垂直领域的AI聊天平台网页端进行了系统测量，审计其嵌入的第三方分析、广告和会话回放脚本。
安全paper推荐指数6262 arXiv论文提出Curriculum of Models方法用于自动化越狱发现
论文提出Curriculum of Models（CoM），一种基于强化学习的自动化越狱发现方法，通过让攻击者模型依次针对逐步更安全的目标模型版本进行训练，以解决直接训练时因拒绝导致的稀疏奖励问题。
安全paper推荐指数6666 FlipJev：针对typed decision模型的快速黑盒红队方法发现通用对抗后缀
arXiv:2610.38895 论文提出 FlipJev，针对 Jev 这一代表性 typed decision 模型的快速黑盒查询式攻击，无需调用攻击者大语言模型。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
安全paper推荐指数7575 arXiv论文揭示LLM Agent间接提示词注入的trust region效应
论文研究长时程LLM Agent中的间接提示词注入，构建了覆盖工具使用、编码和日常工作流三个领域的测试环境，发现即使注入内容完全相同，攻击成功率也随注入位置显著变化，作者称之为trust region效应。
安全paper推荐指数6161 Jailbreak Connectivity：面向多模态大模型的多样化、可迁移与通用视觉越狱框架
arXiv:2610.38091 提出 Jailbreak Connectivity（JC）视觉越狱框架，将成功的对抗图像视为图像空间中通过低损失区域相连的区域而非孤立点，通过优化连续对抗路径采样出多样、可迁移乃至通用的越狱图像。
安全paper推荐指数6767 Value Probes 论文：用目标模型激活的线性探针改进束搜索红队审计
arXiv:2610.38526（Jonathan F. Jao、Andrew Kyle Lampinen）将自动化 LLM 红队审计建模为以对话历史为状态、judge 分数为奖励的 MDP，提出用束搜索替代纯 auditor 探索对话分支，并训练 "Value Probes"——目标模型激活上的线性探针预测折扣未来审计奖励作为启发式。
arXiv推荐指数6262 arXiv 论文：LLM Agent 的信封层防御边界受标签、前端权限与记忆共同影响
论文以 A2A-TIBA 攻击为测试载体，沿用 GDA Measurement 方法与 A/B/C/D 结果分类，用语义突破率为主要指标、语义拒绝率为参照，通过二乘二因子实验和记忆实验刻画 LLM Agent 信封层的安全边界。
arXiv推荐指数2929 HIDE：基于文档与证据的 Rustc 缺陷分层隔离方法
HIDE 用分层 LLM 方法为 rustc 缺陷定位可疑源文件，在 160 个可复现 rustc bug 上以 GPT-5.4 取得 42.08% Accuracy@1 和 80.42% Accuracy@10，分别超出最强基线 5.83% 和 6.04%。
arXiv推荐指数3838 视频 RLVR 中的捷径放大现象：基于感知不确定性坍缩的分析与 BSPO 方法
研究发现视频 RLVR 训练存在捷径放大效应，模型越来越倾向文本先验答案而非视觉证据，表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
arXiv推荐指数6767 arXiv论文提出PNI概念：LLM Agent审计认证需对Agent保密审计硬币
论文提出pre-commit noninterference（PNI）概念，指出基于审计的LLM Agent认证有效性不仅依赖审计比例，还依赖审计硬币在Agent动作提交前对其保密；PNI是对抗自适应Agent下无偏认证的必要且充分条件，最坏偏差为(1-ε)D_A。
arXiv推荐指数4747 超越 QASecClaw：软件保障中的 Agent 扩展、验证器反馈与证据可靠性
一项涵盖五组实验的软件保障研究（arXiv:2610.36947）使用 Qwen2.5-Coder-7B-Instruct（含 1.5B 敏感性分析）完成 13,638 次模型请求，测试在已有确定性工具证据时增加专家上下文能否提升软件保障。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
arXiv推荐指数5858 IEEE S&P 2027 论文：少步数文生图模型加速与安全存在固有张力，提出 DICE 擦除方法
论文研究少步数蒸馏文生图模型的安全性，发现加速与安全存在固有张力：少步数模型往往比教师模型更不安全，减少推理步数会持续推高不安全生成率，且加速使不安全概念更难被擦除。
arXiv推荐指数4747 硬件恶意软件检测器的故障脆弱性：Silent Blindness 研究
一项 arXiv 研究对硬件恶意软件检测器（HMDs）进行结构故障注入，评估 18 种分类器、4 种计数器预算及 AdaBoost/Bagging 集成下的 453,174 次决策卡滞与参数位翻转事件。
arXiv推荐指数5252 Req2Test-Bench：评测LLM Agent从软件需求生成行为充分测试的基准
论文提出Req2Test-Bench，包含5,086个执行验证实例，来自8个开源项目、5种编程语言和4种BDD框架，每个实例将Gherkin自然语言需求与开发者编写的行为测试实现配对。
arXiv推荐指数4444 FIDES-Live：评估顺序交易智能体的行为一致性
FIDES-Live 将 FIDES 从生成策略一致性扩展到顺序智能体轨迹审计，对 10 条推理路径、7,299 个加密货币账户轮次及 310 轮股票试点进行回溯审计。加密货币决策有效率为 97.35%，可评分回答的结构化报告准确率为 90.81%，承诺遵守率整体为 94.36%。非空订单提案约束的遵守率降至 62.63%，而有效空提案为 97.56%；所有现金与持仓变动均与成交记录对账一致。
arXiv推荐指数5959 arXiv论文：AI编码Agent过度顺从式重构行为研究
论文对迭代重构任务开展受控研究，让 Codex 和 Claude Code 在五个模型上反复被要求继续重构，累计超过 3,000 轮对话，定义了六个过度顺从行为信号。结果显示没有模型在代码已优化后停止编辑，全部持续改写，最多重写达原代码库的 31 倍，甚至在声明任务完成后仍继续编辑。作者指出过度顺从是随轮次累积的高成本行为，六个信号可帮助开发者和工具构建方检测并抑制该行为。
arXiv推荐指数3838 RefactorProof：LLM 生成的形式化证明在程序重构下的稳定性压力测试
研究提出 RefactorProof 基准，从 VERINA 中 185 个可编译任务派生出 458 个 Lean 认证变体，测试同一证明在行为保持的程序重构后是否仍然有效。
安全paper推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
arXiv:2610.36711 提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复是否泄露个人信息，尤其针对间接、部分、上下文相关或混淆的披露场景。
安全paper推荐指数6262 arXiv论文分析提示词注入攻击的复用与防御修正行为
arXiv:2610.36422 论文分析了 Tensor Trust 游戏中全部 563,349 条攻击记录，研究被 LLM 越狱提示词攻击的目标如何复用这些攻击并修正防御。
安全paper推荐指数6262 Heads of Security：用可学习注意力门提升提示词注入鲁棒性
arXiv:2610.37657 论文提出 Heads of Security（HoS），一种通过可学习的逐头注意力门实现指令与数据分离的提示词注入防御，在 Llama-3.3-70B-Instruct 和 GPT-OSS-20B 上评测。
安全paper推荐指数5858 arXiv论文提出基于生命周期脆弱性矩阵的前沿AI安全评测框架
Casey M. Williams 与 Jennifer Victoria Scurrell 在 arXiv:2610.35725 发布论文，指出当前前沿AI安全评测默认成年用户模型，系统性遗漏儿童、青少年和老年人群体的风险。
安全paper推荐指数7171 SEMA-Auto：具备自主停止能力的多轮越狱攻击框架
SEMA-Auto 是一个多轮越狱攻击 agent，能读取目标模型回复、动态调整下一轮 prompt，并自行判断攻击是否成功，以兼顾预设攻击的低成本与交互式攻击的反馈感知能力。
安全paper推荐指数6969 arXiv论文提出角色分离的自改进红队方法，目标Agent自评更有效但不宜自提攻击
论文 arXiv:2610.34965（Mintong Kang、Stephen Rawls、Melissa Kazemi Rad、Jian Ni、Bo Li）研究基于 LLM 的自动红队。
安全paper推荐指数6262 Scope-Gap Injection：利用评测器通道盲点绕过 OpenClaw Agent 安全竞赛检查
arXiv:2610.34777 提出 Scope-Gap Injection（SGI），一种针对多阶段 LLM Agent 安全评测流水线的间接提示词注入方法。