复现实验显示 J-Lens 难以检测阈下学习在 7B-32B 模型中传递的偏好
作者复现阈下学习实验,发现被系统提示喜爱猫头鹰的 Qwen2.5-7B-Instruct 教师能通过数字序列把偏好传给学生模型,学生提及猫头鹰的比例从 1% 升到约 8%。
作者复现阈下学习实验,发现被系统提示喜爱猫头鹰的 Qwen2.5-7B-Instruct 教师能通过数字序列把偏好传给学生模型,学生提及猫头鹰的比例从 1% 升到约 8%。
新加坡国立大学研究团队发布论文《ZoneClaw》,针对长期运行 Agent 的持久化记忆攻击提出三层记忆分区(策略区 D0、可信区 D1、非可信区 D2)与四种执行角色(Planner、Observer、Gatekeeper、Executor)的防御架构,将记忆能力与行动权限分离。
推荐理由:论文用消融实验说明只看最终攻击成功率会掩盖内部权限越界,为跨会话 Agent 安全评测提供了可迁移的指标设计思路。
Anthropic与Theorem合作发表研究称,Claude针对123个开源库的239个模糊测试入口点,在RISC-V汇编代码层面生成了经机器验证的安全形式化证明,证明约1.8亿行Rocq代码通过检查,典型证明约60万行。
推荐理由:原文系统梳理了AI在汇编层做形式化验证的规模、可信组件与局限,读者可据此判断该方法当前能覆盖什么、不能覆盖什么。