跳到正文
arXiv· Ezra Edelman·· 21 小时前推荐指数72

arXiv 论文:理解并缓解大模型中的角色伪装攻击

Understanding and Mitigating Role Spoofing in LLMs

AI 导读

论文研究 LLM 中的角色伪装(role spoofing)攻击,即工具输出中的恶意文本(如 Agent 访问的恶意网页)利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制,发现其依赖内容(语义与写作风格)和结构(控制 token 与格式)两类线索,结合伪造结构与内容的攻击成功率很高。

来源:arXiv · arxiv.org