大模型服务器部署这事儿2026年再回头看跟三年前完全是两个世界。早年间大家还在折腾“能不能跑起来”如今开源社区的生态已经卷到“选哪个框架更划算、哪家云服务商更匹配、上线之后怎么稳”这个层面了。我前后在自建机房和主流云平台上部署过不少 7B 到 70B 的开源模型从单卡试跑到对外提供 API 的完整流程都走了一遍。这篇指南就围绕大模型服务器部署这个主题把框架选型、云服务对比、生产级流程这三件事按实操顺序讲清楚。目标读者是准备把模型真正接到业务系统里的工程师或者一个人要扛整个部署链路的小团队负责人刚入门的朋友也能从中找到一条清晰的路线。很多人上来就急着装环境我不一样我会先算几笔账。因为部署这个动作本身不难难的是你算错了账之后后面每一步都在为错误买单。1. 部署前先算三笔账为什么要自建、模型走哪条路、流量到底有多大1.1 第一笔账自己部署还是调别人的 API先说个反直觉的结论大多数场景下你不该自己部署大模型调商业 API 更快更省。我见过太多团队为了“拥有模型”而自建最后 GPU 的账单比 API 贵一倍运维还占用大量人力。那什么情况下自建是合理的核心就三条一是数据合规和私有化要求。金融、医疗、政企项目经常明确要求数据不出内网你总不能把客户数据发到第三方的 API 上这个没得商量只能自建。二是深度定制。你需要把模型接入特定的知识库、走特定的提示词链路、让输出格式完全贴合内部系统这些在 API 的“黑盒”里做起来很别扭自己部署以后你能控制采样参数、接入工具调用、甚至改模型权重。三是长期高频调用的成本优势。如果你的业务是每天上百万 token 的稳定调用量自建的边际成本会明显下降。但注意这里说的是“稳定调用量”如果业务量忽大忽小自建的闲置成本反而比按量付费的 API 更浪费。1.2 第二笔账直接部署开源模型还是微调之后部署2026 年的开源模型能力已经相当强了通用对话、代码生成、文档解析这些任务直接拿 Qwen、Llama 系列跑都能用。但如果你要的是“懂你们公司语料的客服”“能按你家资产命名规则生成代码的助手”那通用模型不一定达标需要考虑微调。这里要提醒一个关键点微调后的模型部署流程和直接部署差不多但你得提前确认推理框架支持你的微调产物。比如你现在微调主流用的是 LoRA、QLoRA 这类低秩适配方案那部署时候要么把 LoRA 权重合并回基座模型节省推理耗时要么用支持动态 LoRA 加载的推理框架。这直接关系到选型我在第三章会展开。1.3 第三笔账流量和延迟预期决定你买什么规模的 GPU算一算你预期的并发数、上下文长度和响应延迟。这三个数一旦确定GPU 选型范围基本就锁死了。举个例子你要对外提供 7B 模型的 API目标 8 并发单请求上下文不超过 8K响应希望秒级返回。那 7B 模型 FP16 权重约 14GB算上 KV Cache 和激活值单张 24GB 显存的卡刚好够但几乎没余量想稳一点就上 48GB 或者干脆两张 24GB 的卡做张量并行。这就是第三笔账的意义——它把“用什么型号的卡”从拍脑袋变成了一道算术题。2. 显存预算是部署的第一道门槛权重、KV Cache 与并发余量2.1 权重账参数和精度决定了模型“本身”占多少显存大模型显存占用分三块权重、KV Cache、激活值和框架开销。其中权重是最直观的公式很简单——显存占用约等于“参数量 × 每个参数占用的字节数”。FP16 或 BF16 下每个参数占 2 字节INT8 占 1 字节INT4 大概占 0.5 字节。我整理了一个常用尺寸的参照表方便你直接对照模型参数量FP16/BF16INT8 量化INT4 量化7B约 14GB约 7GB约 4GB13B约 26GB约 13GB约 7GB32B约 64GB约 32GB约 16GB70B约 140GB约 70GB约 35GB注意这是纯权重大小不是完整部署需求。70B 的 FP16 权重就要 140GB一张 80GB 的 H100 也装不下要么多卡张量并行要么上量化。所以很多团队部署 70B 级别的模型首选方案就是 INT8 或 INT4 量化配合多卡。2.2 KV Cache 账第二个“隐形房东”权重只是基础真正吃显存的大头往往是 KV Cache这东西新手特别容易忽略。简单解释一下 KV Cache 是什么模型生成每个 token 的时候都要参考之前所有 token 的 Key 和 Value 信息。为了不重复计算框架会把它们缓存下来缓存占用的显存就是 KV Cache。上下文越长、并发请求越多这部分就越大。我拿常见的 7B 模型举个例子假设它是传统的 MHAMulti-Head Attention架构每个 token 的 KV Cache 大约 0.5MB。你感受一下这个数字的杀伤力上下文长度单并发 KV Cache4 并发8 并发2K约 1GB约 4GB约 8GB4K约 2GB约 8GB约 16GB8K约 4GB约 16GB约 32GB同样是 7B 模型FP16 权重才 14GB8 并发 8K 上下文KV Cache 比权重还大。这就是为什么我老说“部署大模型本质上是部署显存预算”而不是部署模型文件。新一代模型用 GQAGrouped Query Attention后 KV Cache 会小一些但数量级还是这个水平。2.3 余量账激活值、CUDA 上下文和框架本身都别漏除了权重和 KV Cache还有些“不起眼”的开销激活值前向计算过程的临时变量、CUDA 上下文、推理框架自身的缓冲。这些加起来通常要预留权重的 20% 到 30%。所以实际部署的时候配置里有个参数叫gpu-memory-utilizationvLLM 默认 0.9意思是只使用显卡 90% 的显存剩下 10% 留给临时开销。我自己的习惯是设置 0.85 到 0.9别贪心顶满。显存这玩意儿算账的时候不留余量线上就会用 OOM 告诉你什么叫现实。3. 推理框架选型vLLM、SGLang、TGI、Ollama 的真实差异3.1 一张表看懂现在的推理框架格局2026 年的推理框架主流就是下面这几位各有个性简单先过一遍框架核心优势典型场景上手难度vLLM吞吐高、生态好、OpenAI 风格兼容生产环境 API、高并发推理低SGLang前缀缓存、结构化输出极强Agent 多轮、复杂模板、工具调用中TGIHugging Face 官方、部署简单快速接入 Hugging Face 生态低Ollama一条命令跑本地模型个人电脑、内网试验、边缘设备极低TensorRT-LLM性能压榨极致固定架构、投入优化预算的场景高3.2 vLLM 为什么是生产环境的首选如果你只打算部署一个模型对外提供推理服务没有太多花活我的第一个推荐永远是 vLLM。理由不是它跑得最快而是它最“均衡”。vLLM 有两个核心技术PagedAttention 和 Continuous Batching。PagedAttention 把 KV Cache 按页管理显存利用率大幅提升Continuous Batching 让不同请求不必等一个批次完整结束而是动态塞进新请求吞吐量在并发场景下优势非常明显。另外它兼容 OpenAI 风格的 API 接口这意味着你从商业 API 迁移到自建服务只需要改一下 base_url业务代码几乎不用动。vLLM 对量化、LoRA、多卡部署、流式输出的支持也都很成熟社区活跃度最高遇到问题搜一搜基本都有答案。对于大多数团队vLLM 不是在几个选项里挑出来的而是不需要思考的默认项。3.3 SGLang 的时候到了前缀缓存和时间敏感型 AgentSGLang 这几年势头很猛它最大的招牌是 RadixAttention也就是前缀缓存。如果你的请求共享同一个系统提示词、工具定义或长对话上下文SGLang 可以复用这些前缀的计算结果显著降低首个 token 的生成延迟。这一点在 Agent 场景特别吃香。比如你写了个 Agent每次请求都带一大段“你是某某领域的专家你有这些工具可用……”的 system prompt用 vLLM 每个请求都得完整走一遍 prefill用 SGLang 就能直接命中缓存省掉大量重复计算。另外 SGLang 对结构化输出JSON 模式和多模态模型的支持也很激进适合做复杂业务逻辑的团队。但代价是生态和周边工具比 vLLM 稍弱遇到冷门问题要自己多摸索。我的建议是纯对话、高并发 API 用 vLLMAgent 密集、共享前缀多的场景认真评估 SGLang。两个框架不冲突甚至可以按模型分开部署。3.4 TGI 和 Ollama 各自的生态位TGI 是 Hugging Face 自家的服务框架优势是跟 HF 生态无缝衔接从 HF Hub 拉模型就能直接跑配置简单历史也久。吞吐表现在同级别模型下通常不如 vLLM但如果你的团队对 HF 生态特别熟想快速上线一个内部工具TGI 是稳妥的过渡方案。Ollama 则是另一条路线。它把“本地跑大模型”做成了和 Docker 一样简单的事情一条命令拉模型、一条命令起服务还自带一个兼容 OpenAI 的接口。但它对并发控制、Deep 调优能力弱不适合生产级高负载 API。我把它定位成“笔记本上的试验场”——先在 Ollama 上确认模型效果和价值再迁移到 vLLM 做生产部署。这个流程能省不少早期阶段的时间。4. 云服务器怎么选算力规格、计费方式与网络拓扑4.1 选卡不能只看显存算力、带宽和互联都要看一旦确定要自建选云服务器这事马上摆到面前。很多新手选 GPU 只看显存大小结果发现 4090 虽然 24GB 显存但和 A100 的算力、显存带宽差出好几个身位。推理场景要看三个指标一是显存容量决定你能装多大的模型和多少 KV Cache这个前面算过账了。二是算力和显存带宽决定生成速度。大模型推理特别依赖显存带宽因为每个 token 的生成都要把权重读一遍带宽不够 GPU 利用率再高也是空转。三是卡间互联和网络拓扑。如果你要部署 70B 模型或者走张量并行多张卡之间的通信频率非常高。同一台物理机内的卡间通信走 NVLink 或 PCIe速度快跨机通信要走高速网络InfiniBand 或 RoCE成本和复杂度直接上升。我的经验是能单机多卡绝不跨机分布式。跨机分布式部署一套下来网络调试和故障排查的时间成本够你加好几次班。4.2 计费方式的取舍按量、包月还是竞价云 GPU 的计费渠道通常有几种按量付费、包月包年、竞价实例Spot。没有哪种绝对好取决于你的业务形态。验证和测试阶段用按量付费最划算。我习惯的做法是先用按量付费的实例把整套流程跑通压测数据出来之后再决定要不要转包月。因为按量付费可以随时释放避免“买了个包月卡结果发现规格不够用”的尴尬。稳定期对外提供服务包月或包年更适合。GPU 资源是不折不扣的“硬件税”省钱空间不大包月能换来稳定性至少不会被平台随时回收。竞价实例适合离线任务或容错业务。价格便宜很多但机器可能被随时回收不适合当在线服务的底座。如果你只是跑批处理、做实验、批量评测竞价实例是性价比之王。4.3 最容易忽略的成本项和运维项选云服务商时很多人盯着 GPU 时薪却忽略了几个隐性成本。一是网络流量费大模型请求的输入输出动态很大流式输出一个长回答可能好几 KB量大了之后流量费不是小数目。二是磁盘和快照费用模型权重动辄几十 GB镜像和快照占用的存储空间也会产生持续费用。三是数据迁移费不同云之间的迁移带宽贵且慢上云之前想清楚长期绑定关系。运维层面我最看重的功能是GPU 健康监控、实例自动故障替换、镜像加速和自动扩缩容。前两个能力直接决定你能不能半夜睡个好觉后两个决定你最忙的时候要不要盯着控制台手动加机器。4.4 不同场景下的选型参考我最终会把云服务商的选择落到一张场景匹配表上不看品牌看需求业务场景推荐规格计费方式关键注意事项技术验证/实验单卡 24GB-48GB按量付费用完立即释放防遗忘对外稳定 API 服务多卡高配 至少 2 个副本包月/包年 弹性配置健康检查与自动扩容成本敏感型长期离线任务竞价实例或算力平台按小时竞价任务要支持断点续跑数据合规/私有化物理隔离或专有云定制合同确认数据出口和审计能力5. 生产级部署全流程模型准备、容器化服务与高可用接入5.1 模型获取与完整性校验流程第一步先把模型文件拿到手。现在主流渠道还是从 Hugging Face 拉取网络受限的团队可以用hf-mirror这类镜像站拉模型国内速度更快。下载命令很简单# 安装 huggingface CLI pip install -U huggingface_hub[cli] # 下载模型到本地示例Qwen2.5-7B-Instruct huggingface-cli download Qwen/Qwen2.5-7B-Instruct \ --local-dir ./models/Qwen2.5-7B-Instruct下载完成后我强烈建议做一次文件校验。大模型文件动辄几十 GB传输过程中损坏一个分片加载时大概率直接启动失败或者更糟——输出乱码但服务不报错。校验方式看 Hub 页面上给每个文件提供的 SHA256 值下载后逐一对一下花钱花时间都花了不差这一步。5.2 容器化启动vLLM 生产参数不是瞎填的推荐用官方镜像直接起服务减少环境依赖问题。宿主机要提前装好 NVIDIA 驱动和nvidia-container-toolkit这样容器才能访问 GPU。一条典型的 vLLM 启动命令长这样docker run -d --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 8000:8000 \ --shm-size 2g \ vllm/vllm-openai:latest \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name my-llm \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --max-num-seqs 8 \ --host 0.0.0.0 \ --port 8000逐个说下关键的几个参数--served-model-name是暴露给客户端的模型名你可以改成业务自己的名字不必和原始模型名一致。--max-model-len是模型支持的最大上下文长度这里设置了 8192。注意这个值和 KV Cache 强相关开太大可能直接内存不足导致启动失败开太小又浪费了卡的容量。建议根据你的业务需求设定而不是一味开最大。--max-num-seqs控制单实例最大并发请求数。设置 8 意味着多余请求会排队等待。生产环境不要把这个值拉太高因为 vLLM 的动态批处理会把多个请求打包计算批越大单请求的等待时间越长时延会变差而不是变好。--shm-size 2g是容器共享内存大小这个参数不写容器默认只有 64MBvLLM 多进程协作时会莫名其妙崩溃。这是新手最容易踩的坑我后面专门展开讲。5.3 验证服务别急着接业务服务起来之后先用 curl 做一轮基础验证确认模型能正常对话、流式输出、参数生效curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: my-llm, messages: [{role: user, content: 用一句话介绍你自己}], max_tokens: 256 }返回结果里有choices、usage字段说明基础链路通了。我建议多测几组不同 prompt覆盖长文本、多轮对话、特殊符号这些边界场景确认输出稳定之后再往下走。5.4 网关、鉴权与高可用把服务真正暴露出去单机单服务只能算通了还不能算生产可用。对外提供 API 至少要过四道关第一道是网关。业务方通常不希望直接面对你的裸端口用 Nginx 做反向代理和负载均衡是最常见的做法。注意两个细节proxy_connect_timeout要设短后端健康才能快速失败proxy_read_timeout要设长大模型流式输出可能持续几十秒甚至几分钟默认 60 秒会直接切断连接。第二道是鉴权。vLLM 自带的多租户方案里做开了可以用--api-key开启每请求校验一个 key。生产上建议在这个基础上再做一层业务鉴权比如转发前校验 JWT把模型服务的 key 留作内部凭据。第三道是健康检查。vLLM 自带/health健康端点Nginx 里的后端池可以配置主动健康检查把负载均衡和故障摘除做自动联动。第四道是容量预案。单实例总会遇到流量高峰最直接的方案是部署两个副本挂在 Nginx 后面达到 CPU 或并发阈值再水平扩展。高可用这块我的建议很简单先保证有两个副本能切换再谈自动扩缩容。很多事故不是机器不够而是挂了没人知道备份主机也没准备。5.5 发布与灰度模型上线也要走流程模型更新不是把新权重挂上去就完事尤其是替换行为上可能有差异的新版本。我习惯的发布流程是在新的一组 GPU 实例上启动新版本模型用一批业务真实请求在灰度环境里跑对比测试重点观察输出质量和时延变化确认没有回退再让 Nginx 切换流量。如果发现新模型在特定场景下变笨了能立刻切回旧版本。这套流程在 Kubernetes 环境里可以用多个 Deployment 加 Service 权重切换实现没有 K8s 的团队用 Nginx 手动切换也行。核心思想是——任何模型上线都必须可回滚。6. 上线之后必踩的坑监控指标、压测与故障复盘6.1 共享内存不足最常见的“莫名其妙崩溃”先说最容易踩的坑容器里跑 vLLM启动后一切正常压力稍微上来一点进程直接崩掉。很多人的第一反应是显存不够但看日志才发现在/dev/shm空间不足。我前面提到了--shm-size 2g这个参数必须加原因在于 vLLM 多进程协作依赖共享内存传递数据默认的 64MB 根本不够。经验教训所有部署 GPU 推理容器的同学--shm-size起步给 2G别问为什么。6.2 max-model-len 设置过大导致的启动失败如果你启动 vLLM 时看到类似 “Not enough memory” 的日志最可能的原因不是权重太大而是max-model-len开太高KV Cache 预估直接把显存撑爆了。框架在启动阶段会先根据权重、max-model-len和并发上限估算 KV Cache 需求如果超过剩余显存就直接拒绝启动。解决办法不是硬调显存利用率而是砍max-model-len或者换更大的卡。给你个思路把max-model-len从 32768 砍到 8192显存需求一下子就降下来了实际业务影响未必大。6.3 CPU offload 的“慢”不是慢而是不可用显存不够时vLLM 有个--cpu-offload-gb参数可以把部分权重挪到 CPU 内存。实测下来这个功能确实能让你把 70B 模型塞进小显存的卡但推理速度惨不忍睹——每次生成都要从内存搬运权重生成一个 token 的耗时从毫秒级变成秒级。这功能不是给你线上用的是给你演示用的。线上如果显存不够正解是量化、换大卡或者走多卡并行千万别开 CPU offload 硬扛流量。6.4 并发上限与排队流量不小但时延突然飙升还有种情况服务没崩错误也没增多但 P95 时延从 500ms 一路飙到 8 秒。这时候通常是你设置的max-num-seqs太小请求在排队。如果业务要求低时延你需要优先增大队列参数或副本数而不是闷头增大max-num-seqs——批处理虽然提升了吞吐但单请求的等待时间会上升。这个平衡要靠压测摸出来。我压测时会连续打 1000 个真实业务请求看 P50。P95、P99 三个指标同时看 GPU 利用率和 KV Cache 使用率用数据确定并发上限。6.5 量化带来的精度损失灰度后才知道很多团队为了上 70B 模型选择 INT4 量化推理速度确实快显存也确实省但你知道什么时候会翻车吗翻车往往不在通用对话上而在代码生成、数学推理这类对精确度敏感的场景。量化掉的精度可能让本来能跑通的代码逻辑输出出现低级错误。我的原则量化可以但必须灰度验证。先用小流量跑一两天对比量化前后的输出质量特别是你那批最关键的业务 prompt。省下的显存是实打实的但输出质量的损失也是实打实的这笔账要业务侧一起算。6.6 关键监控指标与告警建议最后给一个我常用的监控项清单不用贪多先把这几个盯住指标关注点建议告警阈值GPU 利用率负载是否均衡持续 95% 注意时延恶化KV Cache 使用率批次是否接近上限90% 扩容或降低并发请求 P95/P99 时延用户体验环比突增 30% 告警错误率/429容量瓶颈与限流1% 立即排查显存温度/功耗硬件健康温度 85°C 告警这些指标大多数云监控平台都有现成的没有的话用dcgm-exporter配合 Prometheus 也能低成本的接一套。监控不是先上线后补救而是部署流程的一部分——镜像启动之后的第一件事就是确认监控能看到数据。最后再说一点我自己的体会。第一次把模型从笔记本上跑到生产级服务我最大的教训不是技术细节而是期望管理别指望一张卡能扛住所有并发也别觉得一个框架能解决所有问题。我在实际部署中最常用的组合是——测试阶段用按量付费的小 GPU 实例跑通 vLLM稳定期再根据压测数据买包月、加多副本。任何一个生产链路第一版都争取简单、可回滚。先把请求打起来、把日志接出来、把告警挂上再谈优化。能做到这一步这套流程就已经超过很多“跑得起来但一上线就崩”的部署方案了。
大模型服务器部署实战指南：从框架选型到生产高可用
大模型服务器部署这事儿2026年再回头看跟三年前完全是两个世界。早年间大家还在折腾“能不能跑起来”如今开源社区的生态已经卷到“选哪个框架更划算、哪家云服务商更匹配、上线之后怎么稳”这个层面了。我前后在自建机房和主流云平台上部署过不少 7B 到 70B 的开源模型从单卡试跑到对外提供 API 的完整流程都走了一遍。这篇指南就围绕大模型服务器部署这个主题把框架选型、云服务对比、生产级流程这三件事按实操顺序讲清楚。目标读者是准备把模型真正接到业务系统里的工程师或者一个人要扛整个部署链路的小团队负责人刚入门的朋友也能从中找到一条清晰的路线。很多人上来就急着装环境我不一样我会先算几笔账。因为部署这个动作本身不难难的是你算错了账之后后面每一步都在为错误买单。1. 部署前先算三笔账为什么要自建、模型走哪条路、流量到底有多大1.1 第一笔账自己部署还是调别人的 API先说个反直觉的结论大多数场景下你不该自己部署大模型调商业 API 更快更省。我见过太多团队为了“拥有模型”而自建最后 GPU 的账单比 API 贵一倍运维还占用大量人力。那什么情况下自建是合理的核心就三条一是数据合规和私有化要求。金融、医疗、政企项目经常明确要求数据不出内网你总不能把客户数据发到第三方的 API 上这个没得商量只能自建。二是深度定制。你需要把模型接入特定的知识库、走特定的提示词链路、让输出格式完全贴合内部系统这些在 API 的“黑盒”里做起来很别扭自己部署以后你能控制采样参数、接入工具调用、甚至改模型权重。三是长期高频调用的成本优势。如果你的业务是每天上百万 token 的稳定调用量自建的边际成本会明显下降。但注意这里说的是“稳定调用量”如果业务量忽大忽小自建的闲置成本反而比按量付费的 API 更浪费。1.2 第二笔账直接部署开源模型还是微调之后部署2026 年的开源模型能力已经相当强了通用对话、代码生成、文档解析这些任务直接拿 Qwen、Llama 系列跑都能用。但如果你要的是“懂你们公司语料的客服”“能按你家资产命名规则生成代码的助手”那通用模型不一定达标需要考虑微调。这里要提醒一个关键点微调后的模型部署流程和直接部署差不多但你得提前确认推理框架支持你的微调产物。比如你现在微调主流用的是 LoRA、QLoRA 这类低秩适配方案那部署时候要么把 LoRA 权重合并回基座模型节省推理耗时要么用支持动态 LoRA 加载的推理框架。这直接关系到选型我在第三章会展开。1.3 第三笔账流量和延迟预期决定你买什么规模的 GPU算一算你预期的并发数、上下文长度和响应延迟。这三个数一旦确定GPU 选型范围基本就锁死了。举个例子你要对外提供 7B 模型的 API目标 8 并发单请求上下文不超过 8K响应希望秒级返回。那 7B 模型 FP16 权重约 14GB算上 KV Cache 和激活值单张 24GB 显存的卡刚好够但几乎没余量想稳一点就上 48GB 或者干脆两张 24GB 的卡做张量并行。这就是第三笔账的意义——它把“用什么型号的卡”从拍脑袋变成了一道算术题。2. 显存预算是部署的第一道门槛权重、KV Cache 与并发余量2.1 权重账参数和精度决定了模型“本身”占多少显存大模型显存占用分三块权重、KV Cache、激活值和框架开销。其中权重是最直观的公式很简单——显存占用约等于“参数量 × 每个参数占用的字节数”。FP16 或 BF16 下每个参数占 2 字节INT8 占 1 字节INT4 大概占 0.5 字节。我整理了一个常用尺寸的参照表方便你直接对照模型参数量FP16/BF16INT8 量化INT4 量化7B约 14GB约 7GB约 4GB13B约 26GB约 13GB约 7GB32B约 64GB约 32GB约 16GB70B约 140GB约 70GB约 35GB注意这是纯权重大小不是完整部署需求。70B 的 FP16 权重就要 140GB一张 80GB 的 H100 也装不下要么多卡张量并行要么上量化。所以很多团队部署 70B 级别的模型首选方案就是 INT8 或 INT4 量化配合多卡。2.2 KV Cache 账第二个“隐形房东”权重只是基础真正吃显存的大头往往是 KV Cache这东西新手特别容易忽略。简单解释一下 KV Cache 是什么模型生成每个 token 的时候都要参考之前所有 token 的 Key 和 Value 信息。为了不重复计算框架会把它们缓存下来缓存占用的显存就是 KV Cache。上下文越长、并发请求越多这部分就越大。我拿常见的 7B 模型举个例子假设它是传统的 MHAMulti-Head Attention架构每个 token 的 KV Cache 大约 0.5MB。你感受一下这个数字的杀伤力上下文长度单并发 KV Cache4 并发8 并发2K约 1GB约 4GB约 8GB4K约 2GB约 8GB约 16GB8K约 4GB约 16GB约 32GB同样是 7B 模型FP16 权重才 14GB8 并发 8K 上下文KV Cache 比权重还大。这就是为什么我老说“部署大模型本质上是部署显存预算”而不是部署模型文件。新一代模型用 GQAGrouped Query Attention后 KV Cache 会小一些但数量级还是这个水平。2.3 余量账激活值、CUDA 上下文和框架本身都别漏除了权重和 KV Cache还有些“不起眼”的开销激活值前向计算过程的临时变量、CUDA 上下文、推理框架自身的缓冲。这些加起来通常要预留权重的 20% 到 30%。所以实际部署的时候配置里有个参数叫gpu-memory-utilizationvLLM 默认 0.9意思是只使用显卡 90% 的显存剩下 10% 留给临时开销。我自己的习惯是设置 0.85 到 0.9别贪心顶满。显存这玩意儿算账的时候不留余量线上就会用 OOM 告诉你什么叫现实。3. 推理框架选型vLLM、SGLang、TGI、Ollama 的真实差异3.1 一张表看懂现在的推理框架格局2026 年的推理框架主流就是下面这几位各有个性简单先过一遍框架核心优势典型场景上手难度vLLM吞吐高、生态好、OpenAI 风格兼容生产环境 API、高并发推理低SGLang前缀缓存、结构化输出极强Agent 多轮、复杂模板、工具调用中TGIHugging Face 官方、部署简单快速接入 Hugging Face 生态低Ollama一条命令跑本地模型个人电脑、内网试验、边缘设备极低TensorRT-LLM性能压榨极致固定架构、投入优化预算的场景高3.2 vLLM 为什么是生产环境的首选如果你只打算部署一个模型对外提供推理服务没有太多花活我的第一个推荐永远是 vLLM。理由不是它跑得最快而是它最“均衡”。vLLM 有两个核心技术PagedAttention 和 Continuous Batching。PagedAttention 把 KV Cache 按页管理显存利用率大幅提升Continuous Batching 让不同请求不必等一个批次完整结束而是动态塞进新请求吞吐量在并发场景下优势非常明显。另外它兼容 OpenAI 风格的 API 接口这意味着你从商业 API 迁移到自建服务只需要改一下 base_url业务代码几乎不用动。vLLM 对量化、LoRA、多卡部署、流式输出的支持也都很成熟社区活跃度最高遇到问题搜一搜基本都有答案。对于大多数团队vLLM 不是在几个选项里挑出来的而是不需要思考的默认项。3.3 SGLang 的时候到了前缀缓存和时间敏感型 AgentSGLang 这几年势头很猛它最大的招牌是 RadixAttention也就是前缀缓存。如果你的请求共享同一个系统提示词、工具定义或长对话上下文SGLang 可以复用这些前缀的计算结果显著降低首个 token 的生成延迟。这一点在 Agent 场景特别吃香。比如你写了个 Agent每次请求都带一大段“你是某某领域的专家你有这些工具可用……”的 system prompt用 vLLM 每个请求都得完整走一遍 prefill用 SGLang 就能直接命中缓存省掉大量重复计算。另外 SGLang 对结构化输出JSON 模式和多模态模型的支持也很激进适合做复杂业务逻辑的团队。但代价是生态和周边工具比 vLLM 稍弱遇到冷门问题要自己多摸索。我的建议是纯对话、高并发 API 用 vLLMAgent 密集、共享前缀多的场景认真评估 SGLang。两个框架不冲突甚至可以按模型分开部署。3.4 TGI 和 Ollama 各自的生态位TGI 是 Hugging Face 自家的服务框架优势是跟 HF 生态无缝衔接从 HF Hub 拉模型就能直接跑配置简单历史也久。吞吐表现在同级别模型下通常不如 vLLM但如果你的团队对 HF 生态特别熟想快速上线一个内部工具TGI 是稳妥的过渡方案。Ollama 则是另一条路线。它把“本地跑大模型”做成了和 Docker 一样简单的事情一条命令拉模型、一条命令起服务还自带一个兼容 OpenAI 的接口。但它对并发控制、Deep 调优能力弱不适合生产级高负载 API。我把它定位成“笔记本上的试验场”——先在 Ollama 上确认模型效果和价值再迁移到 vLLM 做生产部署。这个流程能省不少早期阶段的时间。4. 云服务器怎么选算力规格、计费方式与网络拓扑4.1 选卡不能只看显存算力、带宽和互联都要看一旦确定要自建选云服务器这事马上摆到面前。很多新手选 GPU 只看显存大小结果发现 4090 虽然 24GB 显存但和 A100 的算力、显存带宽差出好几个身位。推理场景要看三个指标一是显存容量决定你能装多大的模型和多少 KV Cache这个前面算过账了。二是算力和显存带宽决定生成速度。大模型推理特别依赖显存带宽因为每个 token 的生成都要把权重读一遍带宽不够 GPU 利用率再高也是空转。三是卡间互联和网络拓扑。如果你要部署 70B 模型或者走张量并行多张卡之间的通信频率非常高。同一台物理机内的卡间通信走 NVLink 或 PCIe速度快跨机通信要走高速网络InfiniBand 或 RoCE成本和复杂度直接上升。我的经验是能单机多卡绝不跨机分布式。跨机分布式部署一套下来网络调试和故障排查的时间成本够你加好几次班。4.2 计费方式的取舍按量、包月还是竞价云 GPU 的计费渠道通常有几种按量付费、包月包年、竞价实例Spot。没有哪种绝对好取决于你的业务形态。验证和测试阶段用按量付费最划算。我习惯的做法是先用按量付费的实例把整套流程跑通压测数据出来之后再决定要不要转包月。因为按量付费可以随时释放避免“买了个包月卡结果发现规格不够用”的尴尬。稳定期对外提供服务包月或包年更适合。GPU 资源是不折不扣的“硬件税”省钱空间不大包月能换来稳定性至少不会被平台随时回收。竞价实例适合离线任务或容错业务。价格便宜很多但机器可能被随时回收不适合当在线服务的底座。如果你只是跑批处理、做实验、批量评测竞价实例是性价比之王。4.3 最容易忽略的成本项和运维项选云服务商时很多人盯着 GPU 时薪却忽略了几个隐性成本。一是网络流量费大模型请求的输入输出动态很大流式输出一个长回答可能好几 KB量大了之后流量费不是小数目。二是磁盘和快照费用模型权重动辄几十 GB镜像和快照占用的存储空间也会产生持续费用。三是数据迁移费不同云之间的迁移带宽贵且慢上云之前想清楚长期绑定关系。运维层面我最看重的功能是GPU 健康监控、实例自动故障替换、镜像加速和自动扩缩容。前两个能力直接决定你能不能半夜睡个好觉后两个决定你最忙的时候要不要盯着控制台手动加机器。4.4 不同场景下的选型参考我最终会把云服务商的选择落到一张场景匹配表上不看品牌看需求业务场景推荐规格计费方式关键注意事项技术验证/实验单卡 24GB-48GB按量付费用完立即释放防遗忘对外稳定 API 服务多卡高配 至少 2 个副本包月/包年 弹性配置健康检查与自动扩容成本敏感型长期离线任务竞价实例或算力平台按小时竞价任务要支持断点续跑数据合规/私有化物理隔离或专有云定制合同确认数据出口和审计能力5. 生产级部署全流程模型准备、容器化服务与高可用接入5.1 模型获取与完整性校验流程第一步先把模型文件拿到手。现在主流渠道还是从 Hugging Face 拉取网络受限的团队可以用hf-mirror这类镜像站拉模型国内速度更快。下载命令很简单# 安装 huggingface CLI pip install -U huggingface_hub[cli] # 下载模型到本地示例Qwen2.5-7B-Instruct huggingface-cli download Qwen/Qwen2.5-7B-Instruct \ --local-dir ./models/Qwen2.5-7B-Instruct下载完成后我强烈建议做一次文件校验。大模型文件动辄几十 GB传输过程中损坏一个分片加载时大概率直接启动失败或者更糟——输出乱码但服务不报错。校验方式看 Hub 页面上给每个文件提供的 SHA256 值下载后逐一对一下花钱花时间都花了不差这一步。5.2 容器化启动vLLM 生产参数不是瞎填的推荐用官方镜像直接起服务减少环境依赖问题。宿主机要提前装好 NVIDIA 驱动和nvidia-container-toolkit这样容器才能访问 GPU。一条典型的 vLLM 启动命令长这样docker run -d --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 8000:8000 \ --shm-size 2g \ vllm/vllm-openai:latest \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name my-llm \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --max-num-seqs 8 \ --host 0.0.0.0 \ --port 8000逐个说下关键的几个参数--served-model-name是暴露给客户端的模型名你可以改成业务自己的名字不必和原始模型名一致。--max-model-len是模型支持的最大上下文长度这里设置了 8192。注意这个值和 KV Cache 强相关开太大可能直接内存不足导致启动失败开太小又浪费了卡的容量。建议根据你的业务需求设定而不是一味开最大。--max-num-seqs控制单实例最大并发请求数。设置 8 意味着多余请求会排队等待。生产环境不要把这个值拉太高因为 vLLM 的动态批处理会把多个请求打包计算批越大单请求的等待时间越长时延会变差而不是变好。--shm-size 2g是容器共享内存大小这个参数不写容器默认只有 64MBvLLM 多进程协作时会莫名其妙崩溃。这是新手最容易踩的坑我后面专门展开讲。5.3 验证服务别急着接业务服务起来之后先用 curl 做一轮基础验证确认模型能正常对话、流式输出、参数生效curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: my-llm, messages: [{role: user, content: 用一句话介绍你自己}], max_tokens: 256 }返回结果里有choices、usage字段说明基础链路通了。我建议多测几组不同 prompt覆盖长文本、多轮对话、特殊符号这些边界场景确认输出稳定之后再往下走。5.4 网关、鉴权与高可用把服务真正暴露出去单机单服务只能算通了还不能算生产可用。对外提供 API 至少要过四道关第一道是网关。业务方通常不希望直接面对你的裸端口用 Nginx 做反向代理和负载均衡是最常见的做法。注意两个细节proxy_connect_timeout要设短后端健康才能快速失败proxy_read_timeout要设长大模型流式输出可能持续几十秒甚至几分钟默认 60 秒会直接切断连接。第二道是鉴权。vLLM 自带的多租户方案里做开了可以用--api-key开启每请求校验一个 key。生产上建议在这个基础上再做一层业务鉴权比如转发前校验 JWT把模型服务的 key 留作内部凭据。第三道是健康检查。vLLM 自带/health健康端点Nginx 里的后端池可以配置主动健康检查把负载均衡和故障摘除做自动联动。第四道是容量预案。单实例总会遇到流量高峰最直接的方案是部署两个副本挂在 Nginx 后面达到 CPU 或并发阈值再水平扩展。高可用这块我的建议很简单先保证有两个副本能切换再谈自动扩缩容。很多事故不是机器不够而是挂了没人知道备份主机也没准备。5.5 发布与灰度模型上线也要走流程模型更新不是把新权重挂上去就完事尤其是替换行为上可能有差异的新版本。我习惯的发布流程是在新的一组 GPU 实例上启动新版本模型用一批业务真实请求在灰度环境里跑对比测试重点观察输出质量和时延变化确认没有回退再让 Nginx 切换流量。如果发现新模型在特定场景下变笨了能立刻切回旧版本。这套流程在 Kubernetes 环境里可以用多个 Deployment 加 Service 权重切换实现没有 K8s 的团队用 Nginx 手动切换也行。核心思想是——任何模型上线都必须可回滚。6. 上线之后必踩的坑监控指标、压测与故障复盘6.1 共享内存不足最常见的“莫名其妙崩溃”先说最容易踩的坑容器里跑 vLLM启动后一切正常压力稍微上来一点进程直接崩掉。很多人的第一反应是显存不够但看日志才发现在/dev/shm空间不足。我前面提到了--shm-size 2g这个参数必须加原因在于 vLLM 多进程协作依赖共享内存传递数据默认的 64MB 根本不够。经验教训所有部署 GPU 推理容器的同学--shm-size起步给 2G别问为什么。6.2 max-model-len 设置过大导致的启动失败如果你启动 vLLM 时看到类似 “Not enough memory” 的日志最可能的原因不是权重太大而是max-model-len开太高KV Cache 预估直接把显存撑爆了。框架在启动阶段会先根据权重、max-model-len和并发上限估算 KV Cache 需求如果超过剩余显存就直接拒绝启动。解决办法不是硬调显存利用率而是砍max-model-len或者换更大的卡。给你个思路把max-model-len从 32768 砍到 8192显存需求一下子就降下来了实际业务影响未必大。6.3 CPU offload 的“慢”不是慢而是不可用显存不够时vLLM 有个--cpu-offload-gb参数可以把部分权重挪到 CPU 内存。实测下来这个功能确实能让你把 70B 模型塞进小显存的卡但推理速度惨不忍睹——每次生成都要从内存搬运权重生成一个 token 的耗时从毫秒级变成秒级。这功能不是给你线上用的是给你演示用的。线上如果显存不够正解是量化、换大卡或者走多卡并行千万别开 CPU offload 硬扛流量。6.4 并发上限与排队流量不小但时延突然飙升还有种情况服务没崩错误也没增多但 P95 时延从 500ms 一路飙到 8 秒。这时候通常是你设置的max-num-seqs太小请求在排队。如果业务要求低时延你需要优先增大队列参数或副本数而不是闷头增大max-num-seqs——批处理虽然提升了吞吐但单请求的等待时间会上升。这个平衡要靠压测摸出来。我压测时会连续打 1000 个真实业务请求看 P50。P95、P99 三个指标同时看 GPU 利用率和 KV Cache 使用率用数据确定并发上限。6.5 量化带来的精度损失灰度后才知道很多团队为了上 70B 模型选择 INT4 量化推理速度确实快显存也确实省但你知道什么时候会翻车吗翻车往往不在通用对话上而在代码生成、数学推理这类对精确度敏感的场景。量化掉的精度可能让本来能跑通的代码逻辑输出出现低级错误。我的原则量化可以但必须灰度验证。先用小流量跑一两天对比量化前后的输出质量特别是你那批最关键的业务 prompt。省下的显存是实打实的但输出质量的损失也是实打实的这笔账要业务侧一起算。6.6 关键监控指标与告警建议最后给一个我常用的监控项清单不用贪多先把这几个盯住指标关注点建议告警阈值GPU 利用率负载是否均衡持续 95% 注意时延恶化KV Cache 使用率批次是否接近上限90% 扩容或降低并发请求 P95/P99 时延用户体验环比突增 30% 告警错误率/429容量瓶颈与限流1% 立即排查显存温度/功耗硬件健康温度 85°C 告警这些指标大多数云监控平台都有现成的没有的话用dcgm-exporter配合 Prometheus 也能低成本的接一套。监控不是先上线后补救而是部署流程的一部分——镜像启动之后的第一件事就是确认监控能看到数据。最后再说一点我自己的体会。第一次把模型从笔记本上跑到生产级服务我最大的教训不是技术细节而是期望管理别指望一张卡能扛住所有并发也别觉得一个框架能解决所有问题。我在实际部署中最常用的组合是——测试阶段用按量付费的小 GPU 实例跑通 vLLM稳定期再根据压测数据买包月、加多副本。任何一个生产链路第一版都争取简单、可回滚。先把请求打起来、把日志接出来、把告警挂上再谈优化。能做到这一步这套流程就已经超过很多“跑得起来但一上线就崩”的部署方案了。
