AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
arXiv 论文 "From Grind to Grasp"（arXiv:2610.38728，cs.AI / cs.MA）提出一个形式化框架，在工作量与信息双重约束下比较成就，定义 grasp 为固定信息额度下跨工作预算的表现，并将其用于递归自我改进的判据与集体智能分析。论文警告不应让涌现的 agent society 掌握社会协调权，因其可能将工作不断导向维持自身存续与目标。
arXiv 发布一篇以安全为中心、面向异构性的可信分布式机器学习（DML）综述，将联邦学习（FL）作为高风险案例，系统梳理云边端 IoT 场景下的资产、对手、信任假设与协同模式。
arXiv 论文提出车联网联邦学习（FL）中 Basic Safety Message（BSM）异常检测的特征空间 clean-label 投毒攻击，并配套特征一致性重标注防御。攻击将良性样本向恶意特征极值扰动、保持标签不变以降低类别可分性；防御检测并重标注可疑样本。博弈论框架分析攻防均衡，结果显示攻击随被控节点数扩展，而防御在不降低干净准确率的前提下压低攻击成功率、将均衡推向规避攻击区域。
论文以迭代囚徒困境（IPD）为框架，研究开源权重LLM从双人互动扩展到同质与异质网络时，个体合作是否转化为集体合作。研究发现合作行为对模型构成和细微语言变化高度敏感：能与相同模型合作的模型在混合群体中可能转向背叛；一个简单的不确定性提示可增减合作、重新分配成本，并影响数跳之外未接触该提示的智能体；甚至调换动作标签顺序也会显著改变行为，不确定性框架有时会放大这种敏感性。
arXiv 论文提出"可争议治理"（contestable governance）模式，由专业智能体为有争议的元数据决策生成带评分和引用的论证，数据管理员可在提交前接受、拒绝、修改或补充论证，治理记录保留证据、干预与结果。
Vasisht Duddu、Adam Caulfield、Xi He 在 arXiv:2610.27543 提出 KNOX，一个在 TEE 内运行生成式与 Agent 工作负载的监管沙箱，在保护模型权重的同时按经证明的策略清单约束可用法规、工具调用与系统调用。
论文提出 KNOX，将 AI 工作负载运行在 TEE 内以构建监管沙箱，并针对给定用户提示生成受证实的策略清单，列出适用法规、预期工具调用与允许的系统调用。执行器执行动作前，受证实的参考监视器会将其与策略清单比对，仅在匹配时放行，每个动作与判定都记入受证实的执行图供监管方核验。作者称 KNOX 满足合规、保密、可证实与可扩展四项要求，能检查法规合规性与提示词注入等导致的行为偏离，开销低于 1%。
论文提出 Proof-Carrying Contracts（PC2）框架，要求 AI Agent 在执行请求操作前提交可机器校验的证明，证明其在模型允许的所有情形下都保持约定约束，由名为 Airlock 的执行系统校验证明并控制操作访问。
论文提出“可问责的部分理解”（APU）框架，用于应对 Agentic AI 系统中软件自主读写、解释并授权安全相关行为所带来的认知攻击面。作者给出四类相互作用的攻击分类（针对意图解释、证据生产与消费、委托权限范围、人类监督者理解），并规定 APU 的六项必要条件与五项设计原则。