arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选2展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 7 条 · 更新于 15:23
安全paper推荐指数7272 arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv推荐指数4545 Concept Acupuncturist：基于 Sparse Autoencoders 的扩散模型概念擦除方法
Concept Acupuncturist（ConceptACP）提出一种结合可解释性分析与免推理微调的机器遗忘框架，用于扩散模型的高效精准概念擦除。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。