跳到正文
  1. AICSO.AI汇总76

    南加大论文评估开放权重模型作为 Agent 护栏的可靠性,提出选项通道攻击

    南加州大学研究人员 2026 年 10 月 8 日发布论文(arXiv 2610.12292),评估 7 个开放权重模型作为 Agent 安全护栏的可靠性,并提出针对类型化决策模型的选项通道攻击。

    推荐理由:原文给出了选项通道攻击的具体构造方式与错误放行率数据,读者可据此评估把开放权重模型用作 Agent 护栏的实际风险。

  1. 安全内参74

    月之暗面发布 Kimi K3.1 Pro 并在训练阶段削弱网络攻击能力

    10月23日,月之暗面发布 Kimi K3.1 Pro,并在中期训练和强化学习阶段移除网络攻防相关数据、保留正常编程训练内容,以降低开放权重后的滥用风险。内部测试显示,清理数据前模型可完成 90.5% 的漏洞利用任务,清理后降至 81.0%,但漏洞研究能力仍明显强于上一代。

    推荐理由:原文梳理了训练阶段移除网络攻防数据这一做法及其量化效果,读者可据此理解开放权重模型的危险能力控制路径。

  1. Redwood Research80

    Redwood Research:CoT 可控性评测存在严重欠引出,优化提示词可将合规率提升 2-3 倍

    Redwood Research 博文指出 CoTControl 评测(要求推理模型在思维链中遵守格式约束)存在严重欠引出,当前模型的 CoT 可控性数字可能无法代表其真实水平。

    推荐理由:作者用 Claude Opus 4.6 迭代提示词,把开源模型的 CoTControl 合规率提升约 2-3 倍,提示读者重新审视系统卡中 CoT 可控性数字的代表性。

已经到底了