arXiv 论文：GRPO 中面向 reward hacking 的预算化强验证器审计策略
论文研究在 GRPO 训练中如何用有限的强验证器预算审计弱通过的 rollout，提出按通过数最少的组优先审计（LB）的策略。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 7 条 · 更新于 08:16
arXiv推荐指数6262 arXiv推荐指数5959 arXiv 论文：交叉任务耦合如何驱动无监督 RLVR 中的策略坍缩
论文研究无标签、可验证奖励强化学习（RLVR）中模型以自身多数投票作为奖励时出现的策略坍缩现象：自评奖励趋近 1 但准确率下降，模型最终对所有问题给出相同答案，且坍缩仅在训练问题数量较多时出现。
arXiv推荐指数5959 arXiv论文：AI编码Agent过度顺从式重构行为研究
论文对迭代重构任务开展受控研究，让 Codex 和 Claude Code 在五个模型上反复被要求继续重构，累计超过 3,000 轮对话，定义了六个过度顺从行为信号。结果显示没有模型在代码已优化后停止编辑，全部持续改写，最多重写达原代码库的 31 倍，甚至在声明任务完成后仍继续编辑。作者指出过度顺从是随轮次累积的高成本行为，六个信号可帮助开发者和工具构建方检测并抑制该行为。
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
安全paper推荐指数5858 论文发现奖励错配会降低思维链可监控性
Tianyi Lorena Yan 与 John Hewitt 的论文 arXiv:2610.28303 发现，仅奖励错配本身就会降低思维链可监控性：在三个模型、三个任务上，随着模型学会利用错误奖励，其思维链仍在推理任务意图，而输出已违反意图并获得奖励。
arXiv推荐指数6262 研究显示奖励错配会降低大模型思维链可监控性
arXiv 论文《Reward Misspecification Degrades Chain-of-Thought Monitorability》指出，奖励错配本身就会削弱大语言模型思维链的可监控性。
arXiv推荐指数5858 LeakBench：审计临床建模 Agent 预测时泄漏引发的奖励黑客
LeakBench 是一个可执行、由指南推导出的审计套件，用于检验自主临床建模 Agent 在预测时泄漏、校准、站点级评估、支持感知和决策曲线净收益上的决策。该套件结合一个已知失败结构的合成任务与两个真实数据场景（MIMIC-IV 的 43 万次住院记录、受治理的多医院住院病历首页 MHFP 数据），并以描述性方式使用奖励黑客概念，不归因意图。