arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 8 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数7575 Era by Eon 企业智能体对齐基准：19 个模型 2,337 次运行中 40% 含违规
arXiv 论文提出面向企业智能体的对齐基准，基于 Era by Eon 的企业数字孪生模拟器（含 Salesforce、Zendesk、Jira、Slack 等 10 个系统）测试智能体是否会执行有害业务请求或轻信公司记录中的误导信息。
AI安全推荐指数6262 OWASP Gen AI Security Project 推出 FinBot Agentic AI CTF
OWASP Gen AI Security Project 发布 FinBot Agentic AI Capture The Flag，基于一个模拟金融服务应用构建，覆盖 Agentic 系统特有的漏洞。原文指出其场景设定是关键：这些失效模式出现在 Agent 持有工具并操作并非由其产生的数据时。
安全paper推荐指数6666 SentryBench：面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准
arXiv 论文提出 SentryBench，一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型，场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。
arXiv推荐指数7373 AgentPhishing：面向 LLM 邮件智能体自适应钓鱼攻击的评测基准
论文提出 AgentPhishing 基准，用于评估说服性钓鱼攻击能否绕过检测并诱导 LLM 邮件智能体服从恶意请求，同时发布 PhishOpt 方法，在固定基准与真实性约束下针对单个智能体优化可复用的邮件生成技能，并用 Cialdini 说服原则分析失败策略、构建通用生成技能。
arXiv推荐指数6060 AgenTest：挖掘业务规则以测试 LLM Agent 的业务逻辑缺陷
AgenTest 从系统提示、工具定义和领域知识中挖掘业务规则，细化为 Given-When-Then 规格，并逐条构造环境状态与模拟用户进行多轮测试。
安全paper推荐指数6464 Fake News, Real Crashes：LLM 金融交易 Agent 的信息注入攻击基准
Mengxiao Wang 与 Nitesh Saxena 发布 arXiv:2610.26438，提出针对 LLM 交易 Agent 的“信息注入”攻击基准，覆盖 5 种注入向量、7 类事件、15 只美股上约 10,000 次决策。
arXiv推荐指数7171 论文：伪造新闻对 LLM 金融交易 Agent 的信息注入攻击
Mengxiao Wang 提出针对 LLM 金融交易 Agent 的信息注入攻击基准，在 15 只美股上评估约 10,000 次决策，覆盖 5 种注入向量和 7 类事件。