arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 3 条 · 更新于 15:23
安全paper推荐指数7272 arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。