arXiv· Ezra Edelman·· 21 小时前推荐指数72
arXiv 论文:理解并缓解大模型中的角色伪装攻击
Understanding and Mitigating Role Spoofing in LLMs
AI 导读
论文研究 LLM 中的角色伪装(role spoofing)攻击,即工具输出中的恶意文本(如 Agent 访问的恶意网页)利用角色混淆冒充用户。作者分析模型追踪对话中谁说了什么的机制,发现其依赖内容(语义与写作风格)和结构(控制 token 与格式)两类线索,结合伪造结构与内容的攻击成功率很高。
来源:arXiv · arxiv.org