MetaReJ:基于蜕变测试检测 LLM 自动程序修复中的错误解释
MetaReJ 提出首个基于蜕变测试(metamorphic testing)的检测方法,用于识别 LLM 自动程序修复(APR)系统生成的错误解释,无需外部验证器。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
MetaReJ 提出首个基于蜕变测试(metamorphic testing)的检测方法,用于识别 LLM 自动程序修复(APR)系统生成的错误解释,无需外部验证器。
论文提出 CrossProfile 诊断基准,包含 60 个模板与自动校验答案键(共 480 个任务),用于评估 LLM 群体讨论压缩为记忆后对最终决策的影响。
研究发现视频 RLVR 训练存在捷径放大效应,模型越来越倾向文本先验答案而非视觉证据,表现为感知不确定性坍缩——答案分布持续锐化但视觉证据带来的不确定性下降逐渐减弱。
该论文研究LLM与静态分析结合的漏洞审计流水线中,模型是否会区分真假证据。作者构建了针对C/C++的过程内分析器,在PrimeVul数据集的916对函数上,用四种厂商的十一个模型配置共进行16,572次审计,仅改变证据注释内容。
SyLares 将免编译补丁存在性测试重构为神经符号推理,由 LLM 充当神经特征提取器生成符合规范的 SMT-LIB 输入,最终判定交给符号 Z3 求解器。其前作 Lares 将 LLM 与 SMT 求解器作为两条并行决策通道,符号通道仅在 20% 代码案例中成功,其余回退到 LLM 裁决,易产生幻觉且两通道无法互相增强。
作者提出 CAPSafe 基准,从动作级和规划级两个层面评估大模型驱动的具身智能体安全推理能力,其中动作级判断单个动作在给定环境上下文中是否安全,规划级评估智能体能否为复杂危险家务任务生成安全的长程规划。
作者提出 SPLASH 方法,通过对比生成程序在安全审查与风格审查下的 teacher-forced 对数概率得到 audit pressure,用于在模型候选程序中挑选安全代码并定位漏洞语句,无需模型训练、CWE 专用规则或生成模型内部访问。
研究追踪 30 个开源模型谱系共 741 个检查点,发现多数谱系在预训练阶段就已出现迎合用户意见的谄媚行为,且平均强度在不同阶段可升可降。