arXiv 论文:自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入(IPI)的鲁棒性,采用两阶段受控方法:适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习,测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入(IPI)的鲁棒性,采用两阶段受控方法:适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习,测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
论文提出在模拟环境中用多轮强化学习(RL)训练大语言模型完成结构化精神科问诊,涵盖病史采集、鉴别诊断与初步管理规划。
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究,分析 13 个相关 subreddit 的 25K+ Reddit 帖子(筛出 162 条安全相关帖。