arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 16 条 · 更新于 15:28
arXiv推荐指数6262 AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
arXiv推荐指数5252 NPC-RubricBench：基于患者专属评分标准的纵向癌症诊疗大模型评测基准
论文提出NPC-RubricBench，一个以鼻咽癌为疾病场景的阶段感知基准，用于评测大语言模型在癌症诊疗全流程中的多阶段临床推理能力。该基准来自两家癌症中心405名患者的纵向病历，包含6个连续诊疗阶段共941个患者-阶段单元和17,688条患者专属原子评分标准，覆盖5个评测维度，每次评估严格限定在决策时点可得的临床证据。
arXiv推荐指数4444 FIDES-Live：评估顺序交易智能体的行为一致性
FIDES-Live 将 FIDES 从生成策略一致性扩展到顺序智能体轨迹审计，对 10 条推理路径、7,299 个加密货币账户轮次及 310 轮股票试点进行回溯审计。加密货币决策有效率为 97.35%，可评分回答的结构化报告准确率为 90.81%，承诺遵守率整体为 94.36%。非空订单提案约束的遵守率降至 62.63%，而有效空提案为 97.56%；所有现金与持仓变动均与成交记录对账一致。
安全paper推荐指数7171 SEEK：面向科学Agent技能泄露的自进化黑盒红队方法
论文提出 SEEK（Skill Extraction with Evolving Knowledge），一个仅依赖用户可见响应的黑盒自进化红队Agent，用于从科学Agent平台提取可复用技能。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。
arXiv推荐指数5858 arXiv 论文：生物医学声明验证 Agent 的 harness 设计消融与引用审计
该论文在 SciFact 生物医学声明验证任务上，以 PubMed API 为唯一工具做受控消融，固定骨干模型与输出格式，对比闭卷作答、以声明为查询的单次检索、自写 PubMed 查询的 ReAct 式 Agent、以及给定金标准摘要的 oracle 四种 harness。
arXiv推荐指数3131 CloudIR-Bench：面向云故障根因分析与缓解预测的公开基准
CloudIR-Bench 是首个公开的云故障根因分析与缓解预测基准，数据集取自五套主流云系统的真实事故报告，并开源含 8 种近期 LLM 方法的评测框架。评测覆盖零样本与上下文学习实验，并定性分析 LLM 在何处、为何失败，揭示现有模型在该领域的能力与局限。数据集、框架与补充材料均已公开，论文收录于 APSEC 2026。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。
arXiv推荐指数3232 Game of Phones：用博弈论与 LLM 在“Bot Wars”中反击电话诈骗
研究者提出一个博弈论框架，让 LLM 无需微调即可通过上下文经验学习反诈骗策略，将诈骗者与反诈机器人互动建模为双人博弈，并以纳什均衡作为评估学习行为的正式基准。在 300 段模拟对话和三种 LLM 架构上，自适应策略选择相比非自适应基线将纳什均衡对齐度提升 28.9-79.7%。代码与含逐轮策略标签和效用分数的 300 段对话标注数据集已开源，成果获 ECML PKDD 2026 接收。