论文发现 LLM Agent 文本拒答难以迁移到工具调用
论文构建了覆盖四个领域、2,304 条提示词的基准，用文本、标准工具调用和对抗性工具调用三种配对设置测试五个模型，发现聊天中被拒答的有害请求在标准工具调用下仍有 10-52% 变成不安全的工具调用。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 2 条 · 更新于 09:19
arXiv推荐指数6262
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。