收集免费API并搭建“中转站”的可落地方案调研

TL;DR

• 本报告将“中转站”定义为：你自持各上游平台的API Key，通过统一域名与统一接口规范进行转发的API Gateway/Proxy（不公开共享上游Key、不过度规避限制）。
• 推荐架构：前置成熟API网关（Kong/APISIX/Envoy）做鉴权与限流；后置用LiteLLM做LLM模型路由与OpenAI兼容适配；再接可观测性与审计。
• “免费API”通常是限额/限速/限功能/可随时变更的试用策略；必须用“清单核验+自动探活+熔断降级”把不确定性隔离在网关后面。
• 你提到的“英伟达开放 kimi-k2.5 免费API”目前无法在线核验；应先把它当作候选线索，按官方文档确认后再接入生产。

Key Insights

• 免费/试用API的核心风险不是“能不能调通”，而是“额度耗尽、策略变更、封禁风控”导致的不可用；中转站要把这些风险做成可观测、可切换、可回滚。
• 统一北向接口能显著降低客户端复杂度：LLM建议直接提供OpenAI兼容接口；非LLM建议统一REST风格并固化错误码与重试语义。
• 安全是中转站的生命线：上游Key绝不能下发到客户端；必须有你自己的下游鉴权、细粒度配额、请求体大小限制与审计日志（且日志需脱敏）。
• “免费”不等于“可二次分发”：很多平台ToS可能禁止转售、共享Key或作为第三方服务转发；对外开放前要做条款核对与风险隔离。

Playbook

• 建立“API登记册”（建议表格+YAML配置）：字段包括provider、endpoint、auth方式、免费额度/速率、ToS链接、地域限制、数据保留策略、最后核验时间；新增API必须先过核验流程。
• 搭建网关层（Kong/APISIX/Envoy三选一）：实现下游鉴权（API Key/JWT/OAuth2）、限流与配额（Redis计数）、IP白名单/黑名单、请求大小与并发限制、CORS与基础WAF策略（公开场景必做）。
• 搭建路由/适配层：LLM用LiteLLM统一为OpenAI兼容（/v1/chat/completions等）并做provider/model映射；非LLM可用KrakenD做聚合或用FastAPI写轻量adapter；统一超时、重试、幂等策略与熔断降级（优先快速失败+切换备选上游）。
• 运维与观测：用OpenTelemetry打通trace；Prometheus采集QPS、P95延迟、错误率、配额消耗；Grafana出看板与告警；日志做字段级脱敏（prompt/PII不落盘或仅采样），并提供一键“停用某上游/某租户”的应急开关。

Expert Views

• 开源网关工程师（paraphrase）：不要自研网关“全家桶”，优先选Kong/APISIX/Envoy这类生态成熟的组件，把能力放在配置治理与插件编排上（鉴权、限流、观测、灰度）。
• 安全工程师（paraphrase）：中转站一旦对外就是“滥用入口”，必须默认零信任；重点防Key泄露、撞库刷量、SSRF/注入类攻击；日志要脱敏，密钥要进Vault并支持轮换与最小权限。
• 产品经理（paraphrase）：先定目标用户与成功指标（可用性、稳定性、成本上限、响应时间），再决定是否开放注册、是否做计费；“免费API聚合站”更像产品而非工具，需求会迅速膨胀。
• 数据隐私/合规从业者（paraphrase）：对外提供转发服务可能触发数据处理者责任；需要隐私告知、数据最小化、跨境传输评估；同时要逐条核对上游ToS是否允许作为第三方服务转发。

Options

• 方案A（本报告默认）：内部/小团队统一入口中转站。每个调用方分配你自己的下游Key与配额；上游Key集中托管；目标是稳定与可控，合规风险最低。
• 方案B（另一种定义分支）：对外公开的“免费API聚合站/共享调用”。需要账号体系、配额计量、风控与滥用处理，且更可能触碰上游ToS；建议仅在拿到明确授权或采用可公开分发的开源/自托管模型时考虑。
• 方案C：专注LLM中转（最小可行）。LiteLLM做模型路由与OpenAI兼容；Langfuse/Helicone做观测；适合先验证“聚合与切换”的价值，再扩展到其他API品类。
• 方案D：边缘无服务器中转（快速、便宜）。用Cloudflare Workers等做轻量代理与简单限流；适合个人低并发，但复杂鉴权、精细化配额与审计通常仍需后端服务补齐。

Evidence & Confidence

• “网关层+适配层”的分层架构可显著降低接入与运维成本（high）：对应组件与文档成熟，可直接复用现成能力（鉴权、限流、观测、插件生态）。
• “英伟达开放 kimi-k2.5 且可免费调用”这一具体说法（low）：当前仅来自用户提供的小红书链接，且模型命名与常见厂商对应关系存在疑点，无法在线核验；需要以官方页面/API目录为准。
• “多数免费/试用API存在严格配额与反滥用限制”（medium）：行业普遍情况，但每家具体数值、是否允许转发、数据条款差异很大，必须逐项核对ToS与quota页面。
• “公开中转站必然面临刷量与封禁风险，需要风控与配额计量前置”（high）：属于可预期的攻击与滥用模式，且会直接导致上游Key被封或产生费用风险。

Next Steps

• 需求定界：确认中转站是否对外开放；明确要聚合的API类型（LLM/通用/垂类）与目标SLA（可用性、P95延迟、失败率上限）。
• 清单核验：把候选“免费/试用”来源逐项登记并核验（额度、速率、ToS、地域与数据条款）；对“无法在线核验”的条目先只做实验环境验证，不纳入默认路由。
• PoC落地（1周内）：LiteLLM提供统一OpenAI兼容入口；前置APISIX/Kong做下游鉴权、限流、配额；接入2到3个上游做压测与熔断切换演练。
• 上线准备：完善密钥管理（Vault/云密钥服务）、日志脱敏策略、告警阈值与应急开关；对外开放前补齐注册/风控/滥用处理与ToS合规审查。

Sources

• 小红书笔记（用户提供链接，无法在线核验）：http://xhslink.com/o/ApLzgGXRYs0
• NVIDIA Build（模型/API目录，是否免费额度需以官方页面为准）：https://build.nvidia.com/
• LiteLLM（LLM聚合与OpenAI兼容代理）：https://github.com/BerriAI/litellm https://docs.litellm.ai/
• API网关参考：Apache APISIX https://apisix.apache.org/ Kong Gateway https://docs.konghq.com/gateway/ Envoy https://www.envoyproxy.io/