agencyenterprise/PromptInject
PromptInject 是一个以模块化方式组装提示词的框架，用于定量分析 LLM 对对抗性提示攻击的鲁棒性。🏆 获 NeurIPS ML Safety Workshop 2022 最佳论文奖
看开源
AI 安全相关的开源项目、工具与仓库动态，按内容类型筛选，支持搜索。
分类筛选1展开收起
找到 9 个
Python · MIT新★ 527 Jupyter Notebook · MIT新★ 714 calmrocks/ai-engineer-notebooks
面向 AI 工程师/前向部署工程师（FDE）技能集的实战型无框架 Colab notebook——涵盖模型 API、结构化输出、工具调用、RAG、以评估为主线的流程、agent（从零实现循环、工具设计、防护栏、MCP、Skills）、微调与 LoRA 对比、提示注入/安全、LLMOps 和客户沟通技巧，可在免费的 Groq API 上运行。
Batchfile新★ 91 buryusu/All-AI-Jailbreaks
面向 AI 模型鲁棒性研究、红队演练和防御评估的越狱与提示注入实验精选归档。
#C03 AI红队测试研究 / 基准adversarial-promptsai-robustnessai-safetyjailbreak-researchllm-securitymodel-evaluation
TypeScript · MIT新★ 77 promptfoo/promptfoo-action
Promptfoo 的 GitHub Action，用于测试提示、代理与 RAG，支持 AI 红队、渗透测试与 LLM 漏洞扫描，可对比 GPT、Claude、Gemini、Llama 等模型表现，配置简单并集成命令行与 CI/CD。
Python · GPL-3.0新★ 30 genia-dev/vibraniumdome
LLM 安全平台
Python · MIT新★ 138 arekusandr/last_layer
超快、低延迟的 LLM 提示注入/越狱检测
GitHub新★ 99 Mai-xiyu/Codex-Prompt
Rational engineering system prompt for Codex and LLMs — focused on accuracy, software engineering, AI, security research, bug bounty, and reverse engineering. | 面向 Codex 与 LLM 的理性工程系统提示词：强调准确性、软件工程、AI、网络安全、漏洞研究与逆向工程。
Python · MIT新★ 17 KazKozDev/system-prompt-benchmark
面向 LLM 安全的自动化红队测试工具，评估系统提示词对提示注入、越狱和数据外泄攻击的抵御能力。
Python新★ 13 bcdannyboy/PromptMatryoshka
多提供商 LLM 越狱研究框架。