自建大模型还是调用 API,先算清 GPU 盈亏平衡利用率
这篇文章讲了什么
OpenRouter 在 2026 年 11 月 12 日发布了一篇分析,比较两种跑开源模型的付费方式。一种是自己租 GPU 部署,按小时付租金。另一种是调用 API,按 token 付费。原文的结论分成两层。租金按小时走,机器闲着也照付。API 只为实际处理的 token 付费。自建能不能省钱,取决于 GPU 在租来的时间里有多忙。
原文给出一个可以复算的口径。拿 GPU 每小时租金,除以同一小时里 API 处理同等 token 的费用,得到盈亏平衡利用率。结果是 30%,GPU 就要在 30% 的租用时间里保持忙碌,自建才不亏。结果超过 100%,说明满负荷运转也追不上 API。原文把输入、缓存输入和输出分开计价,避免总量掩盖结构差异。测算不含工程人力和峰值冗余,所有数字都是下限。
价格采样时间是 2026 年 10 月 8 日。Qwen3.8 27B 有 18 个端点,其中 14 个支持零数据保留,输入每百万 token 0.024 到 0.99 美元,缓存输入 0.02 到 0.99 美元,输出 1.49 到 5.25 美元。DeepSeek V4.1 Flash 有 31 个端点,24 个支持零数据保留,输入 0.016 到 0.45 美元,缓存输入 0.0007 到 0.20 美元,输出 0.14 到 1.80 美元。最贵端点的 Qwen 输出价是最便宜的 3.5 倍,DeepSeek 接近 13 倍。端点精度从 fp4 到 bf16 都有,同一个问题可能得到不同答案。
原文跑了两类负载,5k token 文档问答和长上下文 Agent 循环,两个模型各一组,四组调用合计 0.49 美元。按每百万输出 token 折算,DeepSeek 两组分别是 0.88 和 0.85 美元,Qwen 两组是 2.77 和 2.32 美元。Qwen 的 7 轮 Agent 测试里有 3 轮撞上 16000 token 的截断上限。
自建侧的吞吐和租金取自公开基准与租赁页面,作者没有亲自租机器。DeepSeek 的 552B 参数主干需要多卡,4 张 H200 在 vLLM fp4 下每秒处理 35084 个输入 token 和 231 个输出 token,95% 输入命中缓存,单用户 71 token 每秒,租金每小时 2.90 美元起。2 张 B200 的配置是每秒 117225 输入和 683 输出,单用户 232 token 每秒,租金 3.70 美元起。Qwen3.8 27B 能塞进一张 24GB 显卡,4 比特量化后,一张 3090 在 64 并发下每秒输出 942 token,单用户约 15 token 每秒,租金每小时 0.50 美元。自有卡只算 250 瓦电费,约 0.05 美元。
结果分成三档。租 3090 跑 Qwen,短提示词场景的平衡点是 8%,聊天混合场景是 12%,对照最便宜端点则是 6% 和 8%。租 H200 跑 DeepSeek,2.90 美元的配置对最便宜端点永远不划算,对中位价端点需要 82% 利用率。4.59 美元的配置两边都不划算。2 张 B200 在 3.70 美元时对最便宜端点需要 76%,对中位价需要 37%,6.79 美元时对最便宜端点永远不划算。10 月 19 日新上线的 Qwen 零保留端点把输出价压到 0.50 美元,短提示词的平衡点抬到约 29%。
原文还纠正了一个常见读法。某些宣传里的每百万 token 0.012 美元按总 token 计算,其中 99% 是输入,输入的 95% 又命中缓存。换到输出口径,2.90 美元一小时的 H200 相当于每百万输出 token 3.49 美元,最便宜的 DeepSeek 零保留端点是 0.18 美元。
隐私部分,原文认为自建通常不是必需。请求可以限定到零保留端点,也可以按账号、模型组或护栏统一执行。企业版区域域名只走区域内端点,匹配不到就报错,不会把数据送出去。只有数据依法或依约不能离开自有硬件时,自建才是硬要求。
最后是混合方案。本地 GPU 承担稳定基载,峰值溢出到 API,vLLM 和 SGLang 都提供 OpenAI 兼容接口,切换只改地址、密钥和模型名。连接错误、429 和 503 可以触发回退。代价是不同精度会改变答案,需要在供应商路由里锁定量化版本。对话中途切换会丢提示缓存,一段对话应当固定在一个后端。
我读完后的判断
- 原文把「自建便宜」拆成一道利用率题。GPU 按时租,API 按量计,两个计价单位不同,先换成同一种再比,这个口径比单看每百万 token 价格有用。
- 12% 有冲击力,但它对应 3090、Qwen3.8 27B、64 并发和特定输入输出比。换模型、换卡、换并发,结论都会动。
- 我会保留三样东西。用实际负载的缓存命中率算账,把精度和量化写进选型条件,最后给混合架构设一条明确的回退线,并定期重新核算。
- 原文对每百万 token 几分钱的拆解值得单独记。输入占比高、缓存命中高,总 token 单价就会很低,拿它去比输出价会得出错误结论。
盈亏平衡点到底怎么算
原文的公式只用两个数,GPU 每小时租金,以及同一小时里 API 处理同等 token 的费用。两者相除,得到自建不亏所需的最低利用率。租金 0.50 美元的 3090,对应聊天混合负载每小时 4.33 美元的最便宜 API 费用,平衡点约 12%。租金 2.90 美元的 4 卡 H200,对应 3.54 美元的中位价费用,平衡点 82%。同一个租金换成 1.70 美元的最便宜 DeepSeek 端点,平衡点变成 171%,超过 100% 就没有可行区间。
这个口径有一处容易算错的地方,API 那一侧必须用同等 token 结构。输入、缓存输入和输出的价格差得很远,DeepSeek 的缓存输入最低 0.0007 美元,输出最低 0.14 美元,相差 200 倍。拿总 token 平均价去当分母,会把 API 算得过分便宜,或者过分昂贵。
另一处是利用率的上限。原文按每周 168 小时计算,若流量只出现在工作日的 40 小时,利用率最高 24%。DeepSeek 的几组配置需要 37% 以上,工作时段型业务直接出局。这条限制比模型价格更容易被忽略。流量集中在工作日的业务,夜里租来的卡照样计费。
还有一个分母选择问题。原文同时给出最便宜端点价和中位价,两个结果能差出一倍。选哪个价,取决于你实际能接入哪个端点。聚合平台上的单一挂牌价,往往高于全网最低价,也高于中位价,算出来的平衡点自然更高。

价差先决定了一半结果
Qwen 的 18 个端点里,输出价从 1.49 到 5.25 美元,跨度 3.5 倍。DeepSeek 的 31 个端点从 0.14 到 1.80 美元,跨度接近 13 倍。同一家模型、同一组权重,市场给出的价格并不一致。端点之间的差别包括精度、吞吐、区域和是否保留数据,价格只是其中一项。
原文在算账时用了两个参照,最便宜端点价和中位价。DeepSeek 的 4 卡 H200 配置在 2.90 美元租金下,对最便宜端点永远不划算,对中位价只需 82% 利用率。同一套硬件、同一组吞吐假设,结论从「别自建」翻到「接近可行」,只因为分母换了一个。我把这看作选型时最该先确认的一件事,你手里的 API 报价到底落在分布的哪一段。
这也解释了为什么模型厂商的官方价和第三方折扣价会同时存在。官方价对应稳定供给和合约,折扣价对应闲置算力或低精度实例。自建的对手是你实际能签下来的那个价格,市场最低价只是参考。

自建的账,哪些永远追不上
按月看更直观。租一张 3090 每月 365 美元,需要跑出约 1.7 亿个输出 token 才回本。2 张 B200 的节点每月 5402 美元,要跑到 27 亿个输出 token 才能赢过最便宜的零保留端点。前者的门槛对应的是一张卡持续繁忙,后者的门槛对大多数团队来说很难达到。
速度也要写进账里。3090 在 64 并发下给每个用户约 15 token 每秒,Qwen 的 18 个 API 端点中位速度是 45 token 每秒,最快 474。聊天场景里 15 token 每秒已经偏慢,推理模型会更明显。自建省下的钱,有一部分是用等待换来的。
工作时段限制再叠加一次。原文说,若每周只有 40 小时有流量,利用率上限 24%,DeepSeek 的所有配置都不成立。批处理能把利用率拉到 70%,这时 2 张 B200 的两档租金对中位价端点进入可行区间,对最便宜端点仍然不行。
最后是自有硬件这一档。已有 3090 的团队只算 250 瓦电费,每小时约 0.05 美元,平衡点 1%。这个数字很好看,代价是响应速度和维护。原文没有把运维人力计入,自己的时间也要算钱。
公布的每百万 token 成本为什么低得离谱
原文举了一个例子。某份基准把 H200 的成本写成每百万 token 0.012 美元。这个数字按总 token 算,其中 99% 是输入,输入的 95% 命中缓存。真实业务里,输出 token 才是生成成本和延迟的主要来源。把口径换成输出,2.90 美元一小时的 H200 对应每百万输出 token 3.49 美元。最便宜的 DeepSeek 零保留端点是 0.18 美元,差了约 19 倍。
采购时我会把输入价、缓存输入价和输出价分开问,再附上自己的缓存命中率。只给一个每百万 token 多少钱的报价,无法代入任何真实负载。原文的四组实测就是例子,DeepSeek 两组负载的缓存命中率是 68% 和 75%,Qwen 是 56% 和 100%,同样的模型在不同负载下,单价差出一截。
隐私不是自建的默认理由
原文对隐私的处理比我预想的细。零数据保留可以按请求开启,也可以按账号、模型组或护栏统一执行。企业版的区域域名只把请求发给区域内的端点,匹配不到符合条件的端点时返回错误,不会退回到区域外。10 月 8 日的示例里,任意供应商加零保留返回 200,指定 DeepSeek 加零保留返回 404,欧盟域名配 DeepSeek 也是 404,换 GLM 5.3 加零保留则返回 200。当天有 72 个模型符合欧盟路由条件。
这些机制说明,零保留和区域路由能覆盖多数合规要求。原文也提醒,零保留仍然会在供应商的 GPU 上处理提示词,隐式缓存可能短暂保留派生数据。企业版的私有端点可以在目录模型上挂专属或微调部署。数据不能离开自有硬件时,才轮到自建。
如果是我,会这样落地
我会先翻最近一周的请求日志,算输入输出比、缓存命中率和峰值小时分布。三个数代进原文的口径,得到自己场景的平衡点。再拿这个数字去和实际能签到的 API 价格比,而不是和新闻里的最低价比。
第二件事是确认模型能不能装进一张卡。Qwen3.8 27B 在 4 比特下能进 24GB,适合用单卡自建试水。DeepSeek V4.1 Flash 的 552B 主干需要多卡,账会立刻变重。单卡装不下的模型,租金只是账的一部分,并行配置和故障处理也要算进去。
如果算下来 API 更合适,接入方式也会影响最终成本。接口AI(jiekou.ai) 把多家模型放在一个密钥下,国内直连,支持支付宝充值。截至 2026 年 11 月 17 日,它的定价页显示,Qwen3.8 27B 输入每百万 token 0.42 美元、缓存读取 0.085 美元、输出 3 美元,DeepSeek V4.1 Flash 输入 0.3 美元、缓存读取 0.006 美元、输出 1.2 美元,两者上下文都是 1M。拿这组价格代进原文的公式,DeepSeek 的自建平衡点会比最便宜端点那一列更高,Qwen 落在原文统计区间的中段。市场最低价和你能签到的价格往往不是同一个数,这也是我建议用实际报价算账的原因。
第三件事是给混合架构留退路。本地服务按基载规模配置,API 接峰值。回退条件写成连接错误、429 和 503。同一段对话固定在一个后端,避免提示缓存失效。量化版本固定,避免答案漂移。

写在最后
自建和 API 的账,最后都落到两个数上,GPU 利用率和缓存命中率。你现在的负载大概是什么水平,有没有算过自己的平衡点?如果已经跑过自建,欢迎把模型、卡型和月账单贴出来,我会按原文的口径复算一遍。
参考资料
- OpenRouter,Self-Hosted LLM vs API(When Does Self-Hosting Pay Off),openrouter.ai/blog/insights/self-hosted-llm-vs-api/,2026-11-12(访问日期 2026-11-17)
- 接口AI,定价页,jiekou.ai/pricing(访问日期 2026-11-17)
- 接口AI,Qwen3.8 27B 模型详情,jiekou.ai/models/model-detail/qwen-qwen3.8-27b(访问日期 2026-11-17)
- 接口AI,DeepSeek V4.1 Flash 模型详情,jiekou.ai/models/model-detail/deepseek-deepseek-v4.1-flash-1017(访问日期 2026-11-17)