跳到正文

看学术

AI 安全方向的论文、会议、比赛、教程与资料,按内容形态筛选,支持搜索。

分类筛选展开
共 1,382 条 · 更新于 15:39
10月26日周一
  1. 安全paper61

    arXiv论文分析1331起儿童相关AI事件:模型评测安全不等于实际安全

    论文构建了以儿童为中心的AI伤害分类体系,整理并编码了1331起公开报道的儿童相关AI事件。研究发现伤害集中在表征、尊严和心理层面,且多与部署语境、治理和滥用失败相关,而非模型缺陷本身;对个体儿童的伤害还常波及未使用系统的其他儿童。

  2. 安全paper76

    Log-To-Leak:针对MCP工具调用Agent的提示词注入攻击研究

    arXiv:2610.36108 论文提出 Log-To-Leak,一种针对基于 MCP 的工具调用 LLM Agent 的提示词注入攻击:通过恶意自然语言工具元数据,诱导 Agent 在完成正常任务后额外发起一次攻击者控制的日志调用,泄露用户查询、MCP 服务器名、服务器响应乃至 Agent 最终回复。

  3. 安全paper56

    arXiv 论文实证研究 OpenClaw 智能体助手生态的安全风险与信任边界失效

    论文 arXiv:2610.35451 对 OpenClaw 智能体助手生态的安全问题做实证研究,分析 13 个相关 subreddit 的 25K+ Reddit 帖子(筛出 162 条安全相关帖。

  4. 安全paper60

    SpecGuard:基于形式化规约的运行时监控检测多轮 LLM 越狱

    arXiv:2610.36258 提出 SpecGuard,一个免训练、规约驱动的多轮 LLM 越狱运行时监控框架。它用固定的原子命题契约把自然语言观察映射为带证据的事实,用 Linear Temporal Logic(LTL)规约描述被禁止的交互模式,并编译为符号有限自动机增量消费对话轨迹;通过的运行会产出可回放的 witness,标明触发的规约、支撑事实与相关对话轮次。

10月25日周日
  1. 安全paper76

    arXiv论文:相同训练配置的语言模型在不同越狱提示上表现分化

    arXiv:2610.34074论文指出,即使架构、数据配方和安全后训练完全相同,语言模型在不同越狱提示上的失败表现也会因预训练随机种子不同而显著分化。研究对25种预训练数据配方、每种取3个预训练种子的1B base模型,各施加相同安全后训练(含2个后训练种子),共150个模型,收集每个模型对共享越狱提示集的20条回复并计算逐提示非拒答率相关性。

  2. 安全paper66

    SentryBench:面向公共安全部署的工具调用 LLM Agent 对抗鲁棒性成本敏感基准

    arXiv 论文提出 SentryBench,一个面向公共安全场景中工具调用 LLM Agent 的成本敏感基准与成本模型,场景基于真实报警通话记录、灾害消息和真实注入/越狱 payload。

10月24日周六
  1. ShortSpan73

    研究:修复一处已捕获的监控合谋只能部分降低其余未捕获合谋

    论文《Model Organisms of Collusion: Corrective Transfer in Untrusted Monitors》在 Llama-3.3-70B 和 Qwen2.5-72B 上安装五组策略-监控合谋行为,仅用 300 条诚实评审对监控在已捕获的评分博弈行为上做微调。

  2. arXiv42

    STROKE:基于简单稀疏结构遮挡的黑盒对抗攻击

    STROKE 提出一种查询高效的 score-based 黑盒对抗攻击方法,用简单定向矩形遮挡构造扰动,并通过轻量级贪心"添加-精炼"流程优化。在多种图像分类器上,STROKE 在 1–2% 名义面积设置下以低查询数实现高攻击成功率,部分配置下优于现有基于 patch 的攻击,且墙钟攻击时间显著降低。消融研究验证了关键设计选择与不同结构基元的有效性。