arXiv 论文：自我进化显著削弱个人智能体对间接提示词注入的鲁棒性
论文 arXiv:2610.39122 研究自我进化是否会削弱个人智能体对间接提示词注入（IPI）的鲁棒性，采用两阶段受控方法：适应阶段用户让智能体阅读外部内容并完成其中任务并从反馈中学习，测试阶段第三方在新外部内容中写入类似任务但用户请求未授权该注入任务。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 20 条 · 更新于 15:28
安全paper推荐指数7272 arXiv推荐指数6262 arXiv 论文：模拟环境强化学习训练提升大模型精神科问诊表现与对话安全
论文提出在模拟环境中用多轮强化学习（RL）训练大语言模型完成结构化精神科问诊，涵盖病史采集、鉴别诊断与初步管理规划。
arXiv推荐指数5151 arXiv 论文分析边缘大模型优化的隐私与安全风险
arXiv 论文《The Privacy and Security Risks of Edge LLM Optimization》指出，边缘部署大语言模型需要降低内存、计算与能耗的优化技术，但保持任务性能并不等于保持安全。作者将优化视为一种信息变换，认为它会改变模型表示、决策路径与信任边界，从而造成安全漂移（security drift）与优化引入的攻击面。
arXiv推荐指数3434 AI 知识蒸馏中的信息论可靠性—安全边界与有限对齐动力学
arXiv 论文提出一个与具体模型形式无关的可靠性—安全普适权衡不等式，其边界仅由隐层区分良性与有害输入能力的单一参数 Kh 决定。作者构建 Boltzmann 机响应行为模型，得到由危险判别容量 K 决定权衡曲线、由整体作答倾向决定曲线上工作点的两条精确关系，并称与现有实验数据吻合。
arXiv推荐指数6262 arXiv 论文提出 CoM 课程方法提升自动越狱发现可靠性
论文提出 Curriculum of Models（CoM）方法，通过让调查模型依次针对一系列修改版目标模型训练，从易产生目标行为的版本逐步过渡到原始目标，以解决直接对安全模型训练时奖励信号稀疏的问题。
arXiv推荐指数4646 云边端 IoT 系统中可信分布式机器学习：异构性视角下的安全、隐私与鲁棒性综述
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
安全向导推荐指数5151 HiddenLayer 研究论证机器学习模型即代码
HiddenLayer 的研究论证序列化模型属于可执行内容而非惰性数据，并展示这一属性带来的影响，可与已收录的 Safetensors 相关文章对照阅读。
arXiv推荐指数3838 Template-Free Dynamic Invariant Detection：用 LLM 替代模板的动态不变量检测工具 Oca
arXiv 论文提出用大语言模型（LLM）替代固定模板库来提出动态不变量，并实现工具 Oca，在真实开源 Java 项目上与基于模板的 Daikon 对比。
arXiv推荐指数7171 arXiv 论文：AI 生成非自愿私密影像靠配置实现而非专用工具
论文分析了 CivitAI 平台上的 139 篇 R+ 指南，该平台以托管大量 AI 生成性内容（AIG-SC）著称。研究发现这些指南讨论了如何将性概念与身份概念组合成内容生成工作流，即 AI 生成非自愿私密影像（AIG-NCII）的构成要素，其中一篇指南明确给出了 AIG-NCII 工作流。
arXiv推荐指数3838 Janus Vehicles：恶意制造商假设下协议合规车辆的实体中心威胁建模
arXiv 预印本提出 Janus Vehicles 实体中心威胁模型，针对"恶意制造商"假设下保持真实且协议合规、却执行未声明传感、通信或情境触发作动的车辆，归纳四类恶意实体原型。
arXiv推荐指数5555 PrivacyEvalClaw：用于审计 LLM 越狱回复隐私泄露的工具增强审议式代理
论文提出 PrivacyEvalClaw，一个免训练的审议式代理，用于评估 LLM 越狱回复中的隐私泄露。它将评测器和分析模块视为工具，自适应收集证据、调查不确定披露并调和冲突信号后再给出判断。
arXiv推荐指数4747 硬件恶意软件检测器的故障脆弱性：Silent Blindness 研究
一项 arXiv 研究对硬件恶意软件检测器（HMDs）进行结构故障注入，评估 18 种分类器、4 种计数器预算及 AdaBoost/Bagging 集成下的 453,174 次决策卡滞与参数位翻转事件。
安全paper推荐指数5858 arXiv论文提出基于生命周期脆弱性矩阵的前沿AI安全评测框架
Casey M. Williams 与 Jennifer Victoria Scurrell 在 arXiv:2610.35725 发布论文，指出当前前沿AI安全评测默认成年用户模型，系统性遗漏儿童、青少年和老年人群体的风险。
安全paper推荐指数6161 arXiv论文分析1331起儿童相关AI事件：模型评测安全不等于实际安全
论文构建了以儿童为中心的AI伤害分类体系，整理并编码了1331起公开报道的儿童相关AI事件。研究发现伤害集中在表征、尊严和心理层面，且多与部署语境、治理和滥用失败相关，而非模型缺陷本身；对个体儿童的伤害还常波及未使用系统的其他儿童。
安全paper推荐指数5656 arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效
论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究，分析 13 个相关 subreddit 的 25K+ Reddit 帖子（筛出 162 条安全相关帖。
arXiv推荐指数3838 When Human Corrections Travel：联邦 VLA 适配中的安全问题
arXiv 论文《When Human Corrections Travel》探讨联邦学习与视觉-语言-动作（VLA）策略结合时的安全问题，指出跨任务、环境、人员和机器人本体共享人类纠正产生的适配更新，可能提升平均任务成功率却压制罕见安全干预或在其他机器人上产生不安全响应。
arXiv推荐指数4545 Concept Acupuncturist：基于 Sparse Autoencoders 的扩散模型概念擦除方法
Concept Acupuncturist（ConceptACP）提出一种结合可解释性分析与免推理微调的机器遗忘框架，用于扩散模型的高效精准概念擦除。
arXiv推荐指数5858 研究：蛋白质语言模型预训练数据过滤的效果与持久性
研究以 ESM-2 系列蛋白质语言模型为对象，考察从预训练数据中过滤病毒蛋白这一防护手段的效果与持久性。结果显示，过滤会明显削弱模型在病毒蛋白上的掩码语言建模、突变效应预测和长程接触预测表现，而非病毒蛋白性能基本保持；影响集中在感染人类的病毒蛋白上，并随模型从 8M 扩展到 3B 参数而增强，模型越大严格过滤越有效。
arXiv推荐指数6262 REX：将危险知识迁入 MoE 可移除专家以实现架构级安全控制
论文提出 REX（Relocating into Removable EXperts），利用 MoE 的模块化结构新增一组可物理移除的专家，通过专家扩展、选择性梯度掩码和路由区分把危险知识从原有专家迁出并集中到新专家中，删除这些专家即可得到可公开发布的模型。
ShortSpan推荐指数6666 Ecology of AI Agents 论文：Agent 协作产生起飞临界种群规模
ShortSpan 介绍 Erin Crawley 和 Hidenori Tanaka 的论文《Ecology of AI Agents: Collaboration Creates a Population Threshold for Takeoff》。