负责 NextModel 生产环境 LLM 网关的设计与运维。主导实现 OpenAI-compatible 路由层、动态模型选择与成本感知负载均衡。长期处理高并发场景下的超时、重试与计费一致性问题。此前参与过多个开源代理与兼容层项目，注重「生产可用」而非 demo 级实现。所有网关相关文章均基于当前线上运行的真实配置与故障经验。

llm-gateway · openai-compatible · routing & billing

Articles