arXiv 论文：用编译器静态分析信息描述并编辑代码模型隐藏状态
论文提出一种方法，用编译器前端可计算的静态分析信息（AST 位置、作用域、定义-使用链、句法类别）对代码语言模型的隐藏状态做分解，并在冻结模型的每一层用该分解替换原始状态，检验模型是否仍能正确预测小程序输出。
看学术
AI 安全方向的论文、会议、比赛、教程与资料，按内容形态筛选，支持搜索。
分类筛选1展开收起
攻击手段
防御体系
模型内生风险
系统与组件
应用场景
评测与治理
可解释与机制
共 11 条 · 更新于 15:38
arXiv推荐指数5151 arXiv推荐指数5656 针对自回归声音克隆 TTS 模型的可解释声学特征研究
论文提出一套面向自回归声音克隆 TTS 模型的特征可解释性框架，通过稀疏自编码器（SAE）、PCA 与随机方向的稀疏探测、引导（steering）和量化自动可解释性分析，研究这类模型编码并使用哪些声学属性。
安全paper推荐指数6767 arXiv论文：CoT依赖度随模型规模上升，与后训练基本无关
arXiv:2610.38433 论文提出用合成box-swap任务测量模型是否真正依赖其写出的思维链：在已知中间状态的推理链中替换一步为错误但有效的状态，观察最终答案是否随之改变。
arXiv推荐指数5353 GPT-2 与 DistilGPT-2 蒸馏机制可解释性研究：IOI 电路坍缩而 Greater-Than 电路存活
arXiv 论文 arXiv:2610.37157 用 linear CKA、logit lens、注意力模式分解、稀疏自编码器特征统计和 activation patching 对比 GPT-2 与其六层学生模型 DistilGPT-2 在两个经典电路上的机制差异。
arXiv推荐指数6262 TopKLoRA 可解释稀疏微调实现忠实电路发现
论文提出 TopKLoRA，一种仅激活每个 token 上 k 个最大适配器隐变量的可解释 LoRA 变体，仅用下游损失训练，使优化压力促使模型学习具功能因果性的隐变量。
arXiv推荐指数4747 Natural Language Autoencoders：识别不等于解释——NLA 重建成功标准无法验证解释忠实性
arXiv 论文指出，Natural Language Autoencoders（NLA）以"verbalizer 将激活转为英文解释、reconstructor 再将解释还原为激活"的往返重建成功作为解释有效判据，但该判据只衡量信息是否足以识别激活，并不检验解释的描述忠实性。
arXiv推荐指数4545 CausalCoT：通过上下文隔离缓解思维链注意力泄漏的推理框架
研究提出 CausalCoT 推理框架，将问题分解为原子子问题的有向无环图，每个节点仅在包含其直接因果父节点的隔离上下文中求值，以马尔可夫结构切断对非父节点内容的注意力通路。在多个推理基准上，CausalCoT 在保持竞争力预测性能的同时，将中间推理步骤的因果敏感性较最强基线平均提升 12 个百分点、最高提升 21 个百分点。结构化依赖图还支持测试时干预，局部修正可沿下游推理链可预测地传播。
arXiv推荐指数3636 用稀疏自编码器构建可审计的 AI 文本检测器
研究者提出一条流水线，将微调后的神经文本检测器转换为基于人类可读概念的分类器：直接在检测器残差流上训练稀疏自编码器（SAE），为每个 SAE 特征分配自动解释标签，仅保留描述通过全局保真度阈值的特征，再在其上训练轻量分类器。
arXiv推荐指数2020 AI 智能体发现共识协议 A-greement，人类专家仍不可替代
研究团队借助 AI 智能体框架 AI-greement 发现新共识协议 A-greement，在 5 或 9 副本的六种部署中，写密集与读密集负载平均延迟较最快基线分别降低 12.2% 和 33.3%，只读负载持平。
arXiv推荐指数2929 Foreword：用 Jacobian Lens 在生成前预测并刻画 LLM 测试失败
Foreword 框架通过同时学习通过和失败的参考输入，并用 Jacobian lens（J-lens）表示输入，在生成前预测 LLM 测试失败。在十项任务和三个开放权重 LLM 上，其四种表示与估计器组合平均优于 Clotho，失败预测 ROC-AUC 平均提升 0.14、最高 0.31，前 100 个优先输入中失败数平均多 15%、最高 33%。