Sturnus：基于延迟的 LLM 负载均衡 sidecar 发布
热点事件历史事件
Sturnus：基于延迟的 LLM 负载均衡 sidecar 发布
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
开发者在 Hacker News 的 Show HN 板块发布开源工具 Sturnus，一个基于延迟的 LLM 负载均衡 sidecar。它以单一静态二进制运行、零基础设施依赖，通过暴露 OpenAI 兼容 API，自动把流量路由到当前最快且健康的 LLM 提供商。 该项目 MIT 许可，完全运行在用户自己的基础设施内。作者明确说明其路由只按延迟判断，不考虑成本或质量；不提供请求级故障转移与重试；其中一项功能目前仅限 Vertex 使用。
AI 根据报道生成 · 4 天前更新
最新进展10月26日 23:20
Show HN：Sturnus——基于延迟的 LLM 负载均衡器报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- Hacker NewsShow HN：Sturnus——基于延迟的 LLM 负载均衡器
Sturnus 是一个基于延迟的 LLM 负载均衡 sidecar，以单一静态二进制文件运行、零基础设施依赖，通过暴露 OpenAI 兼容 API 将流量自动路由到当前最快且健康的提供商。