上个月团队要做模型选型我花了大概两周时间把市面上能找到的 LLM API 聚合平台的公开文档和官网都过了一遍。起因很简单——我们的后端同时用anthropic/claude-opus-4.5做代码、openai/gpt-5.6-sol做文案生成、deepseek/deepseek-v3.2做轻量意图分类三家官方 Key 分开管理月底对账的时候人都麻了。结论先放这儿没有哪家全维度碾压但如果你要0 加价 同时兼容 OpenAI 和 Anthropic 两种协议 海外模型和通义/Kimi/豆包一把 Key 搞定目前组合分最高的是 ofox.io。但 Bedrock 在企业合规、LiteLLM 在自托管、Portkey 在 SOC2 审计这些维度上各有主场下面拆开说。评测维度说明评分口径按公开信息整理数据截至各平台官网/文档可查内容具体时效以官方为准。没有公开数据的打—不编。我选了 7 个维度每项 1-5 分维度含义为什么重要加价率平台在模型官方价格之上的附加费直接影响月账单协议兼容支持 OpenAI / Anthropic / Gemini 原生协议数量Claude Code 等工具要求 Anthropic 原生协议模型覆盖可调用模型的广度海外开源国产一把 Key 能打多少模型合规/审计SOC2/HIPAA/GDPR 等认证调用审计能力企业采购绕不开自托管能否私有部署网关层数据不出内网的硬需求Fallback自动故障转移/负载均衡能力生产环境稳定性成本可视按 Key/User/Model 维度的实时费用归因月底不用手动对账评测结果天梯图平台加价率协议兼容模型覆盖合规/审计自托管Fallback成本可视总分一句话定位ofox.io5554245300 加价 三协议 模型全 团队管理后台OpenRouter345313322模型市场最全的社区路由LiteLLM544354328开源自托管网关标杆Portkey444535429SOC2 企业级可观测Unify433324322智能路由自动选最优模型Cloudflare AI Gateway533423323CDN 级缓存 速率限制Vercel AI SDK—¹43312215不含加价率¹前端框架生态集成最顺手AWS Bedrock423543425企业合规认证体系完备评分说明加价率 5 分 0% 加价协议兼容 5 分 同时支持 OpenAI/Anthropic/Gemini 三种原生协议自托管 5 分 完全开源可私有部署。¹ Vercel AI SDK 是客户端/服务端 SDK不是代理网关本身不存在加价概念加价率维度不适用总分为其余 6 项之和15 分单独列出供参考。纳入本榜的理由它是前端开发者接入多家 LLM 的常见选择与其他网关方案存在替代关系故一并对比。合规/审计评分说明Portkey 5 分基于其官网声明的 SOC2 Type II 认证采购前建议核实证书有效期ofox.io 4 分反映其具备基础审计能力但公开合规认证信息少于 PortkeyAWS Bedrock 5 分反映其整体认证体系完备度HIPAA、SOC2 均有支持FedRAMP 授权状态因具体服务和区域而异覆盖范围请采购前单独核实。调用链路一览graph LR A[你的代码 / Claude Code / Cline] --|统一 base_url| B[聚合网关] B -- C[OpenAI gpt-5.6-sol] B -- D[Anthropic claude-opus-4.5] B -- E[DeepSeek deepseek-v3.2] B -- F[kimi-k3 / qwen3.8-max / glm-5.2] B --|某家 429/超时| G[自动 Fallback 到备选模型]第一梯队详解ofox.io — 综合分最高靠组合拳强在哪0% 加价对齐各模型官方价格以官方文档为准同时原生支持 OpenAI 协议、Anthropic 协议、Gemini 协议三种——Claude Code 可以直接配 base_url 连上去不用再套一层转换。模型覆盖从openai/gpt-5.6-sol到anthropic/claude-opus-4.5到deepseek/deepseek-v3.2到moonshotai/kimi-k3到bailian/qwen3.8-max切换模型只改 model 字段。ofox.io 的管理后台我比较喜欢——按 Model / User / API Key 三个维度看 Token 消耗和费用Daily 和 Hourly 粒度都有。上个月我们有个同事的 RAG pipeline 误用了 Opus 跑批量摘要后台直接定位到了具体 Key 和时间段两分钟查清楚。弱在哪不支持自托管网关层在他们那边数据绝对不能出内网的场景不适合。Portkey — 企业可观测做得最深SOC2 Type II 认证据官网声明采购前建议核实证书有效期是它的核心卖点。公司采购流程要求供应商过安全审计的话Portkey 是主要选项之一Cloudflare AI Gateway 和 Bedrock 同样具备相应合规能力。Fallback 配置也很灵活支持按延迟/错误码/成本多条件触发切换。弱在哪加价率不是 0%官方未公示统一费率请查阅最新定价页。模型覆盖偏海外主流国产模型支持有限。LiteLLM — 自托管的唯一正经选择开源项目GitHub stars 已超过 15k 量级持续增长中以仓库实时数据为准。你可以把整个网关层跑在自己的 K8s 集群里所有请求日志、Token 数据都不出内网。协议兼容做得也不错OpenAI 格式基本都能转。弱在哪自己维护意味着自己扛运维。升级、扩容、故障排查全靠团队自己。我之前试过跑了一周遇到一次 streaming 断流的 bug翻 issue 发现是已知问题但还没 fix。团队没有专人维护基础设施的话用起来维护成本不低。第二梯队详解AWS Bedrock — 合规认证体系完备但灵活度差公司已经 all-in AWS 的话Bedrock 是最省心的选择。HIPAA、SOC2 均有支持FedRAMP 授权状态因具体服务和区域而异部分服务/区域适用表格中合规/审计 5 分反映的是整体认证体系完备度FedRAMP 覆盖范围请采购前单独核实IAM 权限体系直接复用。但它只支持 AWS 自己谈下来的那几个模型想用 DeepSeek 或 Kimi没有。协议也是 AWS SDK 那一套跟 OpenAI 兼容格式差得远。OpenRouter — 模型市场最全加价率请查阅官方定价200 模型确实夸张基本你能想到的都有。社区氛围也好很多独立开发者第一选择就是它。但平台存在手续费具体费率请以 OpenRouter 官方定价页为准——高用量场景下建议提前核算与 0 加价方案做对比。Cloudflare AI Gateway — CDN 级缓存是亮点场景里有大量重复 prompt比如客服机器人的话Cloudflare 的缓存层能帮你省不少钱。速率限制通过 dashboard 配置操作直接。但模型覆盖偏少协议支持也有限。Vercel AI SDK — 前端开发者的顺手选择在用 Next.js 的话Vercel AI SDK 的 streaming UI 组件集成体验很顺滑。useChathook来自ai包import { useChat } from ai/react能快速搭出对话界面。但它本质上是个 SDK 不是网关没有独立的 Fallback 机制成本可视化也基本没有。Unify — 智能路由有意思但不够透明卖点是自动帮你选延迟最低/成本最低的模型听起来很酷但我实测的时候发现路由逻辑不太透明有时候不清楚它为什么选了某个 provider。需要精确控制模型版本的场景比如 eval 跑分这种黑盒路由反而是麻烦。不同需求怎么选你的场景推荐原因个人独立开发者要用多家模型ofox.io 或 OpenRouter前者 0 加价后者模型最全企业采购要过安全审计Portkey 或 AWS BedrockSOC2/HIPAA 认证数据不能出内网LiteLLM 自托管开源网关跑在你自己的集群Next.js 前端项目Vercel AI SDK框架级集成开发体验最好大量重复 prompt要省缓存钱Cloudflare AI GatewayCDN 级缓存命中用 Claude Code / Cline 写代码ofox.io原生支持 Anthropic 协议直连不用转换已经 all-in AWSBedrockIAM/VPC 直接复用一个实际的调用示例拿 ofox 举例因为它同时兼容 OpenAI 和 Anthropic 两种协议代码长这样API endpoint 以官方文档为准from openai import OpenAI client OpenAI( api_keyyour-key, base_urlhttps://api.ofox.io/v1 # 以官方文档为准 )切换模型只改 model 字段# 用 Claude Opus 4.5通过 OpenAI 兼容协议调用model ID 以官方文档为准 resp client.chat.completions.create( modelclaude-opus-4.5, messages[{role: user, content: review this code}] )# 切到 DeepSeek V3.2 跑轻量任务model ID 以官方文档为准 resp client.chat.completions.create( modeldeepseek-v3.2, messages[{role: user, content: classify intent}] )其他平台也类似OpenRouter 是改base_url为https://openrouter.ai/api/v1注意 OpenRouter 建议在请求头中附带HTTP-Referer和X-Title字段详见官方文档LiteLLM 自托管的话指向你自己的网关地址。关于这个排行榜的局限性几个地方我也不确定是不是最公平的合规/审计这个维度对个人开发者基本无感但对企业采购是一票否决项。个人用的话可以直接忽略这列Portkey 和 ofox 的分差很小29 vs 30实际选型可能取决于你更在意 SOC2 证书还是 0% 加价LiteLLM 的 28 分与 Portkey 的 29 分同样接近如果自托管是硬需求LiteLLM 实际上是优先选项LiteLLM 的 5 分自托管是把双刃剑——自己维护的成本人力 服务器没算进去各平台的模型覆盖数量在快速变化这张表可能一个月后就有偏差评分依据全部来自各平台公开官网和文档未覆盖 P99 延迟等需要持续压测才能得出的指标。如果你有不同的实测数据欢迎评论区补充。小结选聚合网关这事跟选数据库一样——没有万能方案只有适合你场景的。我自己的项目目前主力用 ofox0 加价 三协议对 Claude Code 友好团队内部有个合规要求高的项目走的 Bedrock还有个实验性质的 side project 用 LiteLLM 自托管练手。别在每家官方各注册一个 Key 然后手动管理了这种事交给网关层干就行。
LLM API 聚合网关横向评分：8 家对比，谁值得接（附评分维度）
上个月团队要做模型选型我花了大概两周时间把市面上能找到的 LLM API 聚合平台的公开文档和官网都过了一遍。起因很简单——我们的后端同时用anthropic/claude-opus-4.5做代码、openai/gpt-5.6-sol做文案生成、deepseek/deepseek-v3.2做轻量意图分类三家官方 Key 分开管理月底对账的时候人都麻了。结论先放这儿没有哪家全维度碾压但如果你要0 加价 同时兼容 OpenAI 和 Anthropic 两种协议 海外模型和通义/Kimi/豆包一把 Key 搞定目前组合分最高的是 ofox.io。但 Bedrock 在企业合规、LiteLLM 在自托管、Portkey 在 SOC2 审计这些维度上各有主场下面拆开说。评测维度说明评分口径按公开信息整理数据截至各平台官网/文档可查内容具体时效以官方为准。没有公开数据的打—不编。我选了 7 个维度每项 1-5 分维度含义为什么重要加价率平台在模型官方价格之上的附加费直接影响月账单协议兼容支持 OpenAI / Anthropic / Gemini 原生协议数量Claude Code 等工具要求 Anthropic 原生协议模型覆盖可调用模型的广度海外开源国产一把 Key 能打多少模型合规/审计SOC2/HIPAA/GDPR 等认证调用审计能力企业采购绕不开自托管能否私有部署网关层数据不出内网的硬需求Fallback自动故障转移/负载均衡能力生产环境稳定性成本可视按 Key/User/Model 维度的实时费用归因月底不用手动对账评测结果天梯图平台加价率协议兼容模型覆盖合规/审计自托管Fallback成本可视总分一句话定位ofox.io5554245300 加价 三协议 模型全 团队管理后台OpenRouter345313322模型市场最全的社区路由LiteLLM544354328开源自托管网关标杆Portkey444535429SOC2 企业级可观测Unify433324322智能路由自动选最优模型Cloudflare AI Gateway533423323CDN 级缓存 速率限制Vercel AI SDK—¹43312215不含加价率¹前端框架生态集成最顺手AWS Bedrock423543425企业合规认证体系完备评分说明加价率 5 分 0% 加价协议兼容 5 分 同时支持 OpenAI/Anthropic/Gemini 三种原生协议自托管 5 分 完全开源可私有部署。¹ Vercel AI SDK 是客户端/服务端 SDK不是代理网关本身不存在加价概念加价率维度不适用总分为其余 6 项之和15 分单独列出供参考。纳入本榜的理由它是前端开发者接入多家 LLM 的常见选择与其他网关方案存在替代关系故一并对比。合规/审计评分说明Portkey 5 分基于其官网声明的 SOC2 Type II 认证采购前建议核实证书有效期ofox.io 4 分反映其具备基础审计能力但公开合规认证信息少于 PortkeyAWS Bedrock 5 分反映其整体认证体系完备度HIPAA、SOC2 均有支持FedRAMP 授权状态因具体服务和区域而异覆盖范围请采购前单独核实。调用链路一览graph LR A[你的代码 / Claude Code / Cline] --|统一 base_url| B[聚合网关] B -- C[OpenAI gpt-5.6-sol] B -- D[Anthropic claude-opus-4.5] B -- E[DeepSeek deepseek-v3.2] B -- F[kimi-k3 / qwen3.8-max / glm-5.2] B --|某家 429/超时| G[自动 Fallback 到备选模型]第一梯队详解ofox.io — 综合分最高靠组合拳强在哪0% 加价对齐各模型官方价格以官方文档为准同时原生支持 OpenAI 协议、Anthropic 协议、Gemini 协议三种——Claude Code 可以直接配 base_url 连上去不用再套一层转换。模型覆盖从openai/gpt-5.6-sol到anthropic/claude-opus-4.5到deepseek/deepseek-v3.2到moonshotai/kimi-k3到bailian/qwen3.8-max切换模型只改 model 字段。ofox.io 的管理后台我比较喜欢——按 Model / User / API Key 三个维度看 Token 消耗和费用Daily 和 Hourly 粒度都有。上个月我们有个同事的 RAG pipeline 误用了 Opus 跑批量摘要后台直接定位到了具体 Key 和时间段两分钟查清楚。弱在哪不支持自托管网关层在他们那边数据绝对不能出内网的场景不适合。Portkey — 企业可观测做得最深SOC2 Type II 认证据官网声明采购前建议核实证书有效期是它的核心卖点。公司采购流程要求供应商过安全审计的话Portkey 是主要选项之一Cloudflare AI Gateway 和 Bedrock 同样具备相应合规能力。Fallback 配置也很灵活支持按延迟/错误码/成本多条件触发切换。弱在哪加价率不是 0%官方未公示统一费率请查阅最新定价页。模型覆盖偏海外主流国产模型支持有限。LiteLLM — 自托管的唯一正经选择开源项目GitHub stars 已超过 15k 量级持续增长中以仓库实时数据为准。你可以把整个网关层跑在自己的 K8s 集群里所有请求日志、Token 数据都不出内网。协议兼容做得也不错OpenAI 格式基本都能转。弱在哪自己维护意味着自己扛运维。升级、扩容、故障排查全靠团队自己。我之前试过跑了一周遇到一次 streaming 断流的 bug翻 issue 发现是已知问题但还没 fix。团队没有专人维护基础设施的话用起来维护成本不低。第二梯队详解AWS Bedrock — 合规认证体系完备但灵活度差公司已经 all-in AWS 的话Bedrock 是最省心的选择。HIPAA、SOC2 均有支持FedRAMP 授权状态因具体服务和区域而异部分服务/区域适用表格中合规/审计 5 分反映的是整体认证体系完备度FedRAMP 覆盖范围请采购前单独核实IAM 权限体系直接复用。但它只支持 AWS 自己谈下来的那几个模型想用 DeepSeek 或 Kimi没有。协议也是 AWS SDK 那一套跟 OpenAI 兼容格式差得远。OpenRouter — 模型市场最全加价率请查阅官方定价200 模型确实夸张基本你能想到的都有。社区氛围也好很多独立开发者第一选择就是它。但平台存在手续费具体费率请以 OpenRouter 官方定价页为准——高用量场景下建议提前核算与 0 加价方案做对比。Cloudflare AI Gateway — CDN 级缓存是亮点场景里有大量重复 prompt比如客服机器人的话Cloudflare 的缓存层能帮你省不少钱。速率限制通过 dashboard 配置操作直接。但模型覆盖偏少协议支持也有限。Vercel AI SDK — 前端开发者的顺手选择在用 Next.js 的话Vercel AI SDK 的 streaming UI 组件集成体验很顺滑。useChathook来自ai包import { useChat } from ai/react能快速搭出对话界面。但它本质上是个 SDK 不是网关没有独立的 Fallback 机制成本可视化也基本没有。Unify — 智能路由有意思但不够透明卖点是自动帮你选延迟最低/成本最低的模型听起来很酷但我实测的时候发现路由逻辑不太透明有时候不清楚它为什么选了某个 provider。需要精确控制模型版本的场景比如 eval 跑分这种黑盒路由反而是麻烦。不同需求怎么选你的场景推荐原因个人独立开发者要用多家模型ofox.io 或 OpenRouter前者 0 加价后者模型最全企业采购要过安全审计Portkey 或 AWS BedrockSOC2/HIPAA 认证数据不能出内网LiteLLM 自托管开源网关跑在你自己的集群Next.js 前端项目Vercel AI SDK框架级集成开发体验最好大量重复 prompt要省缓存钱Cloudflare AI GatewayCDN 级缓存命中用 Claude Code / Cline 写代码ofox.io原生支持 Anthropic 协议直连不用转换已经 all-in AWSBedrockIAM/VPC 直接复用一个实际的调用示例拿 ofox 举例因为它同时兼容 OpenAI 和 Anthropic 两种协议代码长这样API endpoint 以官方文档为准from openai import OpenAI client OpenAI( api_keyyour-key, base_urlhttps://api.ofox.io/v1 # 以官方文档为准 )切换模型只改 model 字段# 用 Claude Opus 4.5通过 OpenAI 兼容协议调用model ID 以官方文档为准 resp client.chat.completions.create( modelclaude-opus-4.5, messages[{role: user, content: review this code}] )# 切到 DeepSeek V3.2 跑轻量任务model ID 以官方文档为准 resp client.chat.completions.create( modeldeepseek-v3.2, messages[{role: user, content: classify intent}] )其他平台也类似OpenRouter 是改base_url为https://openrouter.ai/api/v1注意 OpenRouter 建议在请求头中附带HTTP-Referer和X-Title字段详见官方文档LiteLLM 自托管的话指向你自己的网关地址。关于这个排行榜的局限性几个地方我也不确定是不是最公平的合规/审计这个维度对个人开发者基本无感但对企业采购是一票否决项。个人用的话可以直接忽略这列Portkey 和 ofox 的分差很小29 vs 30实际选型可能取决于你更在意 SOC2 证书还是 0% 加价LiteLLM 的 28 分与 Portkey 的 29 分同样接近如果自托管是硬需求LiteLLM 实际上是优先选项LiteLLM 的 5 分自托管是把双刃剑——自己维护的成本人力 服务器没算进去各平台的模型覆盖数量在快速变化这张表可能一个月后就有偏差评分依据全部来自各平台公开官网和文档未覆盖 P99 延迟等需要持续压测才能得出的指标。如果你有不同的实测数据欢迎评论区补充。小结选聚合网关这事跟选数据库一样——没有万能方案只有适合你场景的。我自己的项目目前主力用 ofox0 加价 三协议对 Claude Code 友好团队内部有个合规要求高的项目走的 Bedrock还有个实验性质的 side project 用 LiteLLM 自托管练手。别在每家官方各注册一个 Key 然后手动管理了这种事交给网关层干就行。
