跳到正文
  1. 安全内参85

    Mantis 框架用提示词注入反击 LLM 驱动的网络攻击,破坏成功率约 95.4%

    乔治梅森大学团队提出 Mantis 框架,将提示词注入反向用作防御武器,通过诱饵服务向攻击者的 LLM 渗透智能体注入隐藏 payload,实现反向 shell 或将其困入 tarpit。

    推荐理由:论文展示了防守方如何把提示词注入反向武器化,实验数据和攻防博弈分析对理解 LLM 智能体攻防边界有参考价值。

  1. AI对齐论坛71

    evhub 提出可监控性的四类划分与政策思路

    evhub 在 AI 对齐论坛发文,回应 Redwood 的可监控性政策提案及其反提案,阐述自己对 monitorability 的整体思考,并声明内容仅代表个人而非 Anthropic 官方立场。

    推荐理由:原文给出了可监控性的四类划分及各自的评测参照,读者可据此理解现有对齐审计与监控评测的覆盖边界。

  1. Anthropic80

    Anthropic 前沿红队发布评测,衡量 AI 模型的情报定位与常规武器开发能力

    Anthropic 前沿红队发布新评测,衡量模型在战术情报定位(如依据碎片信息定位人员)与常规武器开发(如编写无人机打击移动目标的制导代码)上的能力。

    推荐理由:Anthropic 红队公开了情报定位与常规武器开发两类能力评测,并给出各模型在模拟任务上的具体差距,可作为判断军事领域滥用风险的参照。

  1. Anthropic71

    Anthropic 与 Andon Labs 发布 Drone-Bench,评测 AI 自主操控无人机执行监视任务

    Anthropic 前沿红队与 Andon Labs 合作开发 Drone-Bench,把无人机在办公室内定位并跟随指定人员的任务拆成 Reconstruct、Localize、Navigate、Detect、Follow 五个子任务,并测试了来自三家开发者的 15 个模型。

    推荐理由:Anthropic 与 Andon Labs 把无人机监视任务拆成五个子任务并做成 Drone-Bench,读者可据此看到前沿模型在硬件操控上的能力边界与可靠性差距。

  1. Anthropic80

    Anthropic 发布 LLM ATT&CK Navigator,将 832 个账号的 AI 网络攻击映射到 MITRE ATT&CK

    Anthropic 前沿红队发布 LLM ATT&CK Navigator,把 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的 13,873 次恶意行为映射到 MITRE ATT&CK V18,覆盖全部 14 个战术和 482 个子技术。

    推荐理由:Anthropic 把 832 个被封账号的 AI 滥用行为映射到 MITRE ATT&CK,并给出 ARiES 风险评分方法,可看攻击者如何从造工具转向自主编排。

已经到底了