Hacker News· dannyboland·· 4 天前推荐指数38
Show HN：Sturnus——基于延迟的 LLM 负载均衡器
Show HN: Sturnus, a latency-based LLM load balancer
AI 导读
Sturnus 是一个基于延迟的 LLM 负载均衡 sidecar，以单一静态二进制文件运行、零基础设施依赖，通过暴露 OpenAI 兼容 API 将流量自动路由到当前最快且健康的提供商。
来源：Hacker News · github.com