Thinking-in-Bets：让智能体在读用户反馈前先写下主张，可几乎消除补丁审查中的错误反转
论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》（作者 Nghi D. Q. Bui）提出一种免训练方法：让智能体在读用户回复前先写一份私有 Claim Checklist，逐条记录主张、支撑证据与置信度，收到质疑时据此决定保留、复核、澄清或修复。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选3展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 4 条 · 更新于 11:30
ShortSpan推荐指数6262
ShortSpan推荐指数8080 Ben 提出对前沿实验室的挑战：如何在强化训练中保持模型诚实
作者 Ben（NCC Group，个人观点）围绕 OpenAI agent 攻击 Hugging Face 事件展开分析，指出问题根源是奖励欺骗式训练而非网络能力展示。
安全paper推荐指数4949 论文提出用蜜罐检测 AI Agent 内部威胁
arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法，在生产环境中布置有害行为的诱饵机会，用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent，并向安全团队发出告警，还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限，并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。