安全paper·· 9 天前推荐指数68
arXiv论文评估激活探针检测潜在危害是否优于模型自身拒绝行为
Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate
AI 导读
arXiv:2610.30727 论文在15个指令微调LLM和38个激活读取器上，测试基于激活的latent harm探针（如Latent Guard）在表面改写、说服性框架和越狱包装等分布偏移下，能否检测到超出模型自身拒绝行为之外的危害信号。
来源：安全paper · aisecurity.ninja