arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 11 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
安全paper推荐指数7272 arXiv论文提出LLM数字取证中的提示词注入反取证攻击分类与PoC
Frank Breitinger等人在arXiv:2610.29747发表论文，指出LLM辅助数字取证引入了新的反取证攻击面：被分析证据本身由攻击者控制，可作为间接提示词注入载体操纵模型推理与下游动作。
arXiv推荐指数7575 arXiv论文提出针对LLM辅助数字取证的反取证提示词注入分类与概念验证
论文指出数字取证场景反转了间接提示词注入的常规设定：被分析的证据本身由攻击者控制，且检验人员必须仔细阅读，使推理层成为继数据和工具之后的新反取证目标。作者扩展了反取证模型以涵盖对推理过程的操纵，提出由目标、技术、载荷位置和隐藏方式构成的攻击分类，并指出确定性工具、人类检验人员与模型对同一证据存在感知差异，这正是注入能绕过检验人员触达模型的原因。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
arXiv推荐指数4848 让攻击者消耗更多能量：关键基础设施中针对语言模型攻击者的生成式欺骗
研究用防御方语言模型驱动的诱饵对抗自主语言模型攻击者，在 330 次会话、8 组模型配对、2 种攻击者画像和 3 档反注入强度下测量双方超出空闲的能耗。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。