arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 10 条 · 更新于 15:28
arXiv推荐指数6262 arXiv推荐指数6060 Adversarial Self-Distillation：用自蒸馏提升安全对齐模型的抗对抗扰动能力
arXiv 论文提出 Adversarial Self-Distillation（ASD），针对安全对齐语言模型仍可被对抗扰动绕过的问题，将模型自身在干净提示下的安全行为蒸馏到受攻击的同一模型在 on-policy 采样访问到的前缀上。实验显示 ASD 相比现有先进防御取得更低攻击成功率，多选题准确率损失很小，并能在模型已给出顺从开头后仍恢复拒绝。
ShortSpan推荐指数6262 Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
arXiv推荐指数3838 前沿大语言模型 Asch 从众实验的量化方法
arXiv 论文提出一种量化前沿大语言模型（LLM）Asch 从众效应的方法：对单个问题反复采样，利用 LLM 的概率性生成答案分布，再对比模型面对人为制造的共识前后的分布差异。实验确认前沿 LLM 确实存在从众行为，与既有文献一致，并通过分布对分布比较给出了从众发生条件与程度的量化数据。
arXiv推荐指数5656 Qwen3-VL-4B 视觉语言模型安全表示的层级定位与双向拒绝控制研究
该论文提出一个轻量级推理时框架，用于在冻结的视觉语言模型中定位和操纵安全敏感表示，无需重训练或修改参数。
arXiv推荐指数7272 指令微调数据选择器的 utility-hijacking 攻击与 CONCERT 防御研究
论文提出 utility-hijacking 攻击，通过改造有害记录使其兼容效用导向的指令数据选择器并保留恶意载荷，令 top-k 选择反而集中而非过滤毒物。
arXiv推荐指数6262 论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
安全paper推荐指数4747 小规模本地部署 LLM 在法律语境下过度拒答：刑事法律场景中的角色前缀使拒答率上升 2–20 倍
研究显示，小规模开源权重 LLM 在刑事法律日常任务中，加入“我是辩护律师”“国家最高法院法律顾问”等真实职业身份前缀后，对良性请求的拒答率比无前缀基线系统性上升 2–20 倍。该触发因素并非明显越狱提示，而是用户自然的职业自述；已知的角色扮演越狱前缀效果则因模型而异，部分模型拒答率大幅上升、部分几乎不变。结论基于四个小型模型的良性法律领域提示评测，机制、任务广度与泛化性仍待进一步研究。
arXiv推荐指数4141 编码智能体的过度防御始于静默分叉：ForkDPO 用行为分歧信号纠偏
研究发现编码智能体的过度防御行为始于“静默分叉”——即所有后续动作都通向同一结果的回合，前沿模型在隐式预算下于此类分叉点最多 91% 的决定性动作中选择不成比例的分支。