MLCCD:跨 MLLM 层解耦一致性与冲突的多模态假新闻检测
MLCCD 提出跨多模态大语言模型(MLLM)层解耦一致性与冲突证据的方法用于假新闻检测:先用最终决策表示筛选任务相关视觉与文本 token,保留相邻层间表示剧变的 token,再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。
MLCCD 提出跨多模态大语言模型(MLLM)层解耦一致性与冲突证据的方法用于假新闻检测:先用最终决策表示筛选任务相关视觉与文本 token,保留相邻层间表示剧变的 token,再将知识解耦为一致性与冲突证据并各自跨层聚合。在三个 benchmark 上的实验表明 MLCCD 优于现有方法。
论文研究少步数蒸馏文生图模型的安全性,发现加速与安全存在固有张力:少步数模型往往比教师模型更不安全,减少推理步数会持续推高不安全生成率,且加速使不安全概念更难被擦除。
arXiv 论文 SPOOK 提出在空白画布上用像素级爬山法做稀疏像素编辑,在黑盒设置下探测视觉编码器的表征几何。
KrishokTech 是一套孟加拉语农业咨询系统,在生成前后设置显式授权边界:检索前对高风险请求做规则准入检查并要求指明作物,生成后由验证器剔除缺乏 BARI/BRRI 证据支撑的剂量表述。
论文提出 MoST,一个针对视觉语言模型(VLM)的黑盒测试框架,通过比较仅图像、仅文本和联合扰动来刻画模态敏感性,使用多目标搜索选择并组合扰动、调整其严重度,在限制图像与提示词改动幅度的同时寻求预测性能下降。
论文《A Unified Evaluation Framework of Physical Adversarial Robustness in the Edge VLM Era》评测紧凑视觉语言grounding模型与传统目标检测器在物理对抗样本下的表现,引入条件攻击成功率cASR指标,仅在模型仍能于灰色遮挡下定位人的图像上计分。
论文提出针对 MCP 的解码时来源绑定(decode-time provenance binding)机制,通过 HMAC 认证信任标签、MCP 维护的来源账本与上下文污点追踪,抵御经由工具解码进入多智能体工作流的间接提示词注入。
Omni-UBench 是首个面向全模态大语言模型(OLLM)护栏的综合评测框架,从安全、实用性和可靠性三个维度评估护栏模型,收录来自 35+ 异构来源的 183k+ 样本,覆盖文本、图像、音频、视频及其跨模态组合,并按统一风险分类体系标注。
arXiv:2610.31974 论文研究针对 MCP 智能体工作流的间接提示词注入,提出解码时来源绑定机制,将 HMAC 认证的信任标签、MCP 维护的来源账本与上下文污点追踪结合,对被解码内容标记为不可信并阻断受其影响的关键工具调用。
IndustrialRemembr 将 NVIDIA ReMEmbR 扩展为面向机器人集群的共享时空记忆系统,仅在按需时才生成场景描述,从而降低服务端计算开销。
MPIDetector 是一个 LLM-as-a-judge 风格的多模态提示词注入检测框架,通过 few-shot In-Context Learning 与结构化 prompt 模板让模型审查输入的语义意图,而非依赖签名或困惑度匹配。
论文提出针对多模态扩散管线后置安全检查器的定向越狱攻击 Mirage,将 NSFW 或恶意目标隐藏在良性图像的不可感知扰动中,使生成输出保留对抗语义并绕过检查器。
一项新研究显示,无需训练、无需付费 API 的本地开源模型可以破解 Google reCAPTCHA 视觉挑战,在 500 次真实会话中达到 92.6% 的会话成功率。