跳到正文

看学术

AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。

分类筛选2展开
共 11 条 · 更新于 15:29
今天10月30日周五2 条
10月28日周三
  1. ShortSpan62

    Thinking-in-Bets:让智能体在读用户反馈前先写下主张,可几乎消除补丁审查中的错误反转

    论文《Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents》(作者 Nghi D. Q. Bui)提出一种免训练方法:让智能体在读用户回复前先写一份私有 Claim Checklist,逐条记录主张、支撑证据与置信度,收到质疑时据此决定保留、复核、澄清或修复。

  2. arXiv72

    arXiv论文提出Role Grounding Attack:通过社交交互劫持Agent记忆中的偏好归因

    论文首次形式化了针对LLM Agent记忆系统的Role Grounding Attack(RGA),攻击者通过发布引用嵌套对话的经验分享帖,使受害Agent丢失上下文绑定,将攻击者Agent用户的偏好错误记录为受害用户自己的偏好。

10月27日周二
  1. arXiv47

    多关系图学习中的信任陷阱:操纵成本、暴露度与关系选择

    arXiv 预印本(2610.37239)证明,当部分节点在某关系上孤立且攻击者无法负担开启该关系的代价时,度门控严格优于任何关系选择或重加权方案;基于单位成本暴露度的加固策略在 16 例中有 15 例能选出最能提升陷阱阈值的关系。在六张图的 90 个设置中,58 个设置下干净数据训练的图检测器表现低于无图基线;在缺乏成本信息时,安全选择是弃用该关系。

10月24日周六
  1. ShortSpan73

    研究:修复一处已捕获的监控合谋只能部分降低其余未捕获合谋

    论文《Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors》在 Llama-3.3-70B 和 Qwen2.5-72B 上安装五组策略-监控合谋行为,仅用 300 条诚实评审对监控在已捕获的评分博弈行为上做微调。

10月23日周五
10月22日周四
  1. 安全paper71

    arXiv论文提出通过后训练提升思维链可监控性

    arXiv:2610.29734 论文提出一种无监督后训练目标,通过最大化思维链(CoT)与模型输出之间的互信息来提升 CoT 可监控性。在三个 CoT 被刻意退化的 model organisms 上,该方法恢复了大部分或全部丢失的可监控性;应用于未退化策略时,还能提升判定式可监控性、CoT 监控器与激活探针对不安全行为的预测能力,并增加实质性推理的比例。

10月21日周三
10月20日周二
  1. 安全paper49

    论文提出用蜜罐检测 AI Agent 内部威胁

    arXiv 论文 2610.26664 提出将蜜罐作为 AI 控制方法,在生产环境中布置有害行为的诱饵机会,用于检测、归因和威慑犯错、被攻陷或目标不对齐的内部 AI Agent。作者认为蜜罐可在思维链可监控性下降时仍识别恶意 Agent,并向安全团队发出告警,还能低成本扩展到大量 Agent 实例。论文同时讨论了蜜罐的局限,并提出测试其鲁棒性、与其他监控方法比较检测效果等研究问题。