‹ 全部项目

AI 基础设施 · 团队项目

FlowGate:面向 AI 编程工具的 API 网关

可扩展的 API 网关:校验访问权限与配额,把 AI 编程工具的请求路由到经批准的模型通道,流式返回输出并记录用量。由 SWE5001 第 1 组开发。

时间
2026.10 – 2026.11
角色
团队成员 · 计量、可观测性、负载测试
技术栈
  • Go
  • PostgreSQL
  • Prometheus
  • Grafana
  • Helm
  • k6
  • Python
01 / 05系统
  1. 01 · 系统

    一个网关,统一管理模型访问。

    开发者用网关密钥把编程工具指向网关;FlowGate 校验访问权限与配额,把请求路由到经批准的模型通道,流式返回输出并记录用量。团队把它从本地环境推进到 kind 上的 Helm 部署,以及 Terraform 管理的 AWS EKS。后面几章中高亮的部分是我负责的工作。

  2. 02 · 计量

    先预留,后结算。

    负责计量服务的预留与结算接口:模型调用前,在一个短事务中按最大费用冻结租户余额;调用结束后把实际费用写入账本并释放冻结。通过请求内容的 SHA-256 摘要实现幂等重放,两次调用之间不保留任何事务、连接或锁。

  3. 03 · 可观测性

    指标开销,可以量化。

    编写共享的 Go 可观测性库(Prometheus 指标与结构化请求日志)、设计说明,以及一个对比普通响应与流式响应下日志和指标开销的探针程序。标签固定为服务、路由与结果,请求 ID 和租户不会成为指标标签。

  4. 04 · 负载与扩缩容

    在负载下度量。

    编写 k6 到达率场景与 Python 结果汇总脚本(可标记缺失或重复的结果),并通过 Helm 部署 Grafana 看板,在同一时间轴上展示结果分布、请求量、首个输出延迟与副本数。

  5. 05 · 客户端

    从编程工具接入网关。

    编写 OpenCode 与 Codex CLI 经网关调用模型的分步指南,为本地环境加入可选的 Ollama 配置,并录制来自 Codex 的请求样例用于解析器测试。

关键结果

6

个由我提交并合并的 PR,涵盖计量服务、可观测性、负载测试、Grafana 看板与两份客户端指南。