论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 5 条 · 更新于 09:19
arXiv推荐指数6262
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数5858 SUMMARK：用推理摘要通道验证托管大模型身份是否被替换
作者提出 SUMMARK 摘要通道水印框架，用于审计托管大模型服务是否发生身份替换。该方法在部署前为每个声称的身份构建专属词表载体、训练轻量摘要适配器并校准阈值，审计时仅凭声称身份和已发布输出做带密钥的统计检验，无需访问模型内部、推理日志或路由信息。