AICSO.AI汇总·· 22 小时前推荐指数36
MCP Fetch 修复 robots.txt 路径匹配缺口
MCP Fetch修复robots.txt路径匹配缺口
AI 导读
mcp-server-fetch 在检查 robots.txt 时按客户端原始拼写的路径比对,而源站会先规范化路径,导致 `//private`、`/a%2f..%2fprivate` 及重定向到 `/%2e%2e/private` 等写法绕过 `Disallow: /private`,抓取到站点声明禁止爬取的内容。
来源:AICSO.AI汇总 · github.com