LLM 跑得慢、跑得贵、跑不起来——这是我这半年在做针对 LLM 的 AI 硬件加速器项目时听得最多的一句话。翻译成大白话就是大模型推理延迟太高用户等得不耐烦算力资源占用太狠生成一条回复的成本压得人心慌模型参数太大动不动几十 GB普通机器根本放不下。硬件加速器要干的就是把这几个问题一一按下去。这篇内容是我对这个项目的完整复盘从推理瓶颈拆解到硬件选型思路从量化部署到压力测试最后把工程里踩过的坑和当前在跟的优化方向全部摊开讲。无论你是刚开始接触大模型推理的开发者还是正在评估线上加速方案的架构师这些经验应该能帮你少走至少一轮弯路。1. 项目定义与核心思路拆解LLM 推理的瓶颈到底在哪先说清楚一个前提我们聊的 LLM 硬件加速器主要面向的是推理阶段的延迟、吞吐和成本优化而不是训练阶段的算力扩展。训练可以等推理等不了。用户敲下回车等五六秒第一个字还没出来这产品基本就废了。所以整个项目的出发点是让大模型在线上真实负载下跑得足够快、足够便宜、足够稳定。1.1 LLM 硬件加速到底在加速什么大模型的推理过程每一步都在做同一件事根据已有的前文预测下一个 token。这个“每一步”非常关键它意味着每生成一个 token都要把模型的全部权重从内存里搬出来参与一次完整的矩阵运算然后输出下一个 token 的分布。以 7B 模型为例参数量是 70 亿生成一个 token 大约需要跑 140 亿次左右的浮点运算。单看这个数字不算夸张但生成 1000 个 token 就要做 1000 次延迟就是这么一层层堆出来的。除了计算量更隐蔽的瓶颈在 KV Cache。模型每处理一个 token都会把当前这个 token 的 Key 和 Value 缓存下来避免后续重复计算。序列越长缓存占的显存越多。一个 32K 上下文、7B 模型的场景KV Cache 可能占掉几个 GB 显存。所以硬件加速器优化的不只是乘法速度还有内存访问的效率和数据复用的策略。这里可以给小白一个形象的说法LLM 每次生成 token 就像在一本大头书里查资料书页是模型权重查询过程是计算。硬件加速器的作用不是让“读书的人”眼睛更尖而是把翻页、摘抄、记录答案这些重复动作全部流水线化让每一页被翻到的成本大大降低。1.2 为什么通用芯片干这活越来越吃力通用 CPU 不是不能跑 LLM而是跑得又慢又贵。我这里总结成几堵墙。第一堵是算力墙。CPU 的设计目标是处理复杂指令、分支跳转、系统调度它的 ALU 核心数量有限。一个 8 核 CPU 的单精度浮点算力可能只有每秒几百 GFLOPs而一张中端 AI 加速卡轻松到几十甚至上百 TOPS。这个差距是数量级的模型一上 10B 以上CPU 基本只能靠长时间运行硬扛。第二堵是带宽墙。LLM 推理本质上是一个访存密集型任务每生成一个 token都需要把几十 GB 的模型权重从 DRAM 搬到计算单元。以 7B 模型为例FP16 权重有 14GB假设单卡内存带宽是 336GB/s光把所有权重读一遍就需要 42ms。这个时间折算成吞吐理论上限就只有大约 24 tokens/s。算得再快数据搬不过来也白搭。这也是为什么 HBM 高带宽内存成了 AI 加速器的标配普通 DDR5 那点带宽根本喂不饱模型。第三堵是功耗墙。数据中心的成本大头是电费。GPU 单卡动辄 300W 到 700W一台 8 卡服务器满载接近 5 到 6kW。如果要做高并发的线上推理电费和散热成本会直接吃掉利润。能把同样吞吐做到一半功耗的专用芯片商业吸引力是巨大的。第四堵是生态墙。GPU 有 CUDA 这么成熟的生态新加速器要让人迁过去必须提供顺手且兼容 PyTorch、vLLM 等主流框架的推理引擎。芯片本身算力再强软件栈跟不上迁移成本过高最后也只能停留在 PPT 上。这里有个容易被忽略的点带宽瓶颈在批量推理时会被摊薄。当同时处理多个请求时同一个权重可以被多个请求复用搬运成本均摊总吞吐就会明显上涨。这也意味着选型不能只盯单请求延迟还要看真实并发下的表现。1.3 方案选型GPU、NPU、FPGA、ASIC 怎么选选硬件方案本质上是在性能、成本、开发周期和生态成熟度之间做权衡。我整理了一个对比表方案核心优势主要短板适合场景GPU生态最成熟、框架兼容好、开发效率高功耗高、单价高、供货周期长开发调试、模型训练、混合负载NPU算力密度高、能效比好、批量部署成本低算子兼容性和软件栈仍需趟坑线上推理、边缘部署、规模化服务FPGA可重构、延迟可控、适合算法迭代期开发周期长、运行频率偏低算法未定型时的原型验证ASIC极致性能、最低功耗流片成本高、灵活性差大规模量产且算法稳定的场景如果只是跑通实验闭眼选 GPU 没毛病。如果目标是做规模化推理服务NPU 板卡值得认真评估。FPGA 更适合预算有限、算法还没定稿的团队做过渡。至于 ASIC通常是大厂或者爆款产品才会碰的选项。我在这个项目里走的是两步路先用现有 GPU 把全套流程压测出瓶颈再拿瓶颈数据去对比 NPU 板卡。这样选型不靠拍脑袋每一笔采购都有数据支撑。2. 加速器内部原理与关键指标解析了解加速器为什么快得先明白它内部是怎么组织的。很多人买卡只看一个 TOPS 数字这恰恰是最容易踩坑的地方。2.1 加速器内部如何工作从矩阵乘到数据流AI 加速器的本职工作是把 LLM 里占比超过 90% 的矩阵乘法用专用硬件跑掉。内部最核心的部件是 MAC 阵列也就是乘累加单元阵列。一次操作完成 a×bc矩阵乘法本质上就是海量乘累加的堆叠。GPU 靠数千个 CUDA core 干这件事NPU 则会堆更多更窄的 MAC 单元用数量换吞吐。但矩阵算完之后还有激活函数、LayerNorm、Softmax 这类元素级操作需要向量单元来处理。所以加速芯片通常分成两大块矩阵引擎负责重活向量引擎负责杂活。一个完整的 Transformer 层通常在两个引擎之间来回切换如果切换和数据搬运设计得好整体流水线才不会被卡住。数据流设计是决定性能的关键。打个比方矩阵引擎里的运算单元像车间工人工人旁边的寄存器与片上缓存就是工位置物架外部内存是仓库总线是传送带。设计得好的数据流会让权重和数据在“置物架”上反复复用尽量减少去仓库搬货的次数。GPU 里的 Tensor CoreNPU 里的专用缓存调度本质上都在解决同一个问题数据复用。这里要特别说一下 Attention 里的 QKV。有个很形象的拆法每个 token 同时承担三个角色——Query 是“我在找什么”Key 是“上下文里谁能回应我”Value 是“回应者真正提供的内容”。Transformer 的注意力机制就是让 Query 去匹配 Key再按匹配权重去取 Value。这个匹配和取数的过程是一大堆矩阵乘而且随序列长度二次方增长。上下文从 1K 涨到 8KAttention 阶段的算力需求理论上是原来的 64 倍。所以长文本场景下光靠通用芯片硬扛扛到一定程度必然崩。提示宣传里写“支持长文本”的加速卡一定要实测同等长度下的 Attention 耗时别只看模型能不能载入。2.2 三招降低翻书成本量化、稀疏化、算子融合第一招是量化。模型权重默认是 FP16 甚至 FP32每个数占 2 到 4 个字节。量化到 INT8每个数只占 1 个字节INT4 则只要 0.5 个字节。对 7B 模型来说FP16 要 14GBINT4 只要 3.5GB。权重搬运量直接降到四分之一带宽压力大幅缓解。代价是精度损失这个后面我专门讲。第二招是稀疏化。模型里有不少权重接近零对输出影响很小可以把这些权重裁掉让 MAC 阵列直接跳过无效计算。问题是稀疏计算对硬件设计极不友好不规则的数据布局反而可能拖慢读写速度。目前主流落地方式是结构化剪枝按块或按通道剪而不是逐元素剪。专用加速器才会专门做稀疏加速逻辑通用芯片基本靠软件模拟收益有限。第三招是算子融合。推理引擎会把多个相邻算子合成一个 kernel减少数据在显存和寄存器之间的来回搬移。最典型的是把 LayerNorm 和前面的矩阵乘融在一起或者把 Attention 里的 QKV 投影融合成一次大矩阵乘。框架层面已经有 FlashAttention 这类高度融合的实现硬件加速器落地时基本都要优先对接这些算子不然性能直接打折。别小看这三招它们不是孤立的。量化压缩权重稀疏化减少无效计算算子融合减少搬运开销三者叠加才是加速器在 LLM 上能真正拉开差距的原因。单一指标好看没用综合优化才有意义。2.3 硬件参数怎么看TOPS、TFLOPS、带宽与功耗看加速卡规格表最常见的四个参数是 TOPS、TFLOPS、显存带宽和功耗。TOPS 是整数运算的算力单位通常在 INT8 精度下标定TFLOPS 是浮点算力单位通常在 FP16/BF16 下标定。推理常用 INT8/INT4训练常用 FP16/BF16。一个卡如果只标了 FP16 的 TFLOPS那它在 INT8 下的性能可能差一半选型时一定要问清楚各个精度下的数字。显存带宽直接影响模型权重的搬运速度对 LLM 推理的影响甚至比峰值算力更直接。前面算过7B FP16 模型全部读一遍要 14GB 数据带宽 336GB/s 时理论极限只有 24 tokens/s 左右。这时就算算力再高都是白搭瓶颈一定在带宽。功耗决定部署密度。同样做 100 tokens/s 的吞吐A 卡 200WB 卡 350W常年跑下来电费差距非常大。所以我建议盯一个综合指标能效比单位是 tokens/s/W最好是在真实模型上的实测而不是纸面峰值。可以给一个粗略的算力天花板算法7B 模型生成一个 token 约需 14 GFLOPs 等效计算量一张标称 200 TOPS INT8 的加速卡理论上每秒钟能生成上万个 token。但现实里的 tokens/s 通常只有几十到几百因为权重要先从显存搬到计算单元搬运速度被带宽死死卡住。纸面算力是天花板访存才是实际地板。这就是为什么我一直强调拿到板卡先实测把模型、量化位宽、并发都定好跑一组基准数据再谈选型。3. 实操过程与部署实现从零搭建一条能跑的推理链路这一章我把项目里实际的部署过程完整过一遍。我的习惯是先在 GPU 上跑通全流程再评估切到 NPU 板卡。GPU 生态最成熟出的问题好排查NPU 板卡通常需要厂商私有 SDK适配周期长适合在方案验证完之后再切。3.1 环境准备驱动、容器与推理框架第一步确认驱动和硬件状态。Linux 服务器上执行nvidia-smi能看到显卡型号、驱动版本、显存占用和 CUDA 版本。驱动装好之后再装对应版本的 CUDA Toolkit 和 cuDNN版本错配会在后面跑算子时报一堆莫名其妙的错误。第二步是准备运行环境。我强烈推荐用 Docker 加 NVIDIA Container Toolkit把宿主机系统污染控制在最小。拉一个 PyTorch 官方镜像再在容器里装推理框架出问题时整个环境可以一键重建。# 拉取 PyTorch 官方镜像 docker pull pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime # 进入容器挂载模型目录 docker run --gpus all -it --shm-size16g \ -v /data/models:/models \ pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime bash # 在容器内安装推理框架 pip install vllm transformers accelerate第三步选推理框架。这里没有通用的最优解只有最合适的场景。vLLM 适合高并发 API 服务自带的 PagedAttention 和连续批处理特性很能打TensorRT-LLM 适合追求极致性能但愿意花时间调优的团队llama.cpp 适合单机低资源边缘部署量化格式统一方便在无 GPU 环境运行。3.2 模型量化与部署配置AWQ、GPTQ 怎么选量化不是只能无脑跑命令选哪个方案要结合场景。GPTQ 是经典方案离线一次性量化误差补偿做得好AWQ 按激活值通道重要性调整权重缩放INT4 下稳定性往往更好。llama.cpp 生态则有自己的 GGUF 量化格式适合边缘设备。我的习惯是线上服务优先用 AWQ因为上线后的效果更可控。下面是以 vLLM 启动一个 AWQ 量化模型的例子python -m vllm.entrypoints.openai.api_server \ --model /models/Llama-3-8B-Instruct-AWQ \ --quantization awq \ --dtype half \ --max-model-len 32768 \ --gpu-memory-utilization 0.92 \ --tensor-parallel-size 1 \ --served-model-name llama3-8b参数逐个解释一下。--max-model-len 32768用来限制最大上下文长度避免 KV Cache 无限膨胀把显存吃光。--gpu-memory-utilization 0.92给 CUDA context 和显存碎片留出余地设成 1.0 很容易在运行中触发 OOM。--tensor-parallel-size 1表示单卡部署70B 这类大模型要按卡数调大。--served-model-name是 API 对外暴露的名字方便后面路由。3.3 推理性能测试与调优用数据说话服务跑起来之后不要急着上线先压测。我最常用的组合是用 vLLM 自带的 benchmark 测吞吐和延迟用 lm_eval_harness 测精度变化再用一组固定 prompt 做人工抽检。测试维度至少要看四个TTFT 首 token 延迟、ITL 每个 token 生成延迟、总吞吐 tokens/s、并发请求下的 P50/P99 延迟。很多新手只盯 tokens/s结果并发一上来延迟爆炸线上用户体感非常差。调优顺序我有自己的偏好先看显存利用率再调 batch 大小然后看是否开启 prefix caching 和 chunked prefill最后才考虑换更底层的推理引擎。盲调超参没有任何意义每一轮改动都要记录数据。# 压测请求 python benchmarks/benchmark_serving.py \ --model /models/Llama-3-8B-Instruct-AWQ \ --tokenizer /models/Llama-3-8B-Instruct-AWQ \ --num-prompts 500 \ --request-rate 20 \ --max-num-seqs 323.4 实测结果与对比7B、13B、70B 的差距有次项目验收我记录了一组参考数据。设备是某款 NPU 加速板模型统一用 AWQ INT4输入输出总长控制在 1024 token 左右。先说明不同厂商板卡、不同框架版本、不同 prompt 长度数据差一倍以上都很正常这组数字只代表“某一次特定配置下的表现”。模型量化并发 1 吞吐tokens/s并发 16 吞吐tokens/sTTFTs7BINT4 AWQ422680.3513BINT4 AWQ241410.5270BINT4 AWQ6741.3它验证了一个规律模型规模翻倍单流吞吐并不是严格减半因为访存与算力的平衡点不同并发上来后总吞吐会涨但延迟也会涨需要业务侧做取舍。70B 单卡直接塞不下这里用的是 4 卡张量并行。如果你也要跑 70B记得把--tensor-parallel-size设成对应的卡数不然启动阶段就会报错。4. 常见问题与排查技巧实录显存、精度与兼容性这一章把我在实际部署和运行中遇到的高频问题整理出来按三个主题展开显存不够、量化掉精度、算子兼容性。4.1 显存不足大模型放不下的工程化解法显存估算有一个粗糙但实用的公式模型权重显存约等于参数量 × 每个权重字节数KV Cache 另算激活值再补一点。举例70B 模型INT4 权重就是 70 × 0.5 35GB。如果序列长度 4KKV Cache 可能再占 8 到 12GB单卡 48GB 就会非常紧张。这时候有几条路可以走。第一条路是调小max-model-len直接限制 KV Cache 的膨胀空间。第二条路是对 KV Cache 做 INT8 量化能省一半缓存占用。第三条路是张量并行把模型拆到多卡上。第四条路是 CPU offload把部分权重放内存里但不到万不得已别用PCIe 带宽会拖慢速度。实操细节上vLLM 里gpu-memory-utilization不要设成 1.0留 5% 到 10% 给 CUDA context 和显存碎片。设成 0.92 是一个比较稳的起点。如果线上请求长度波动很大还可以结合 chunked prefill把长 prompt 的预填充阶段切碎避免单个大请求把显存瞬间吃满。4.2 量化掉精度模型变笨了怎么办量化后模型变笨是最常见的问题。第一反应先别甩锅给芯片检查三点校准集和线上数据分布是否差太远某些敏感层是否被压得太狠采样参数是否设置过高。前两个是量化问题第三个是推理参数问题不要混在一起。我的直接经验是如果业务是代码生成或数学推理INT4 的退化非常明显。对这类场景优先用 INT8或者只把聊天类模型压到 INT4。可以用混合精度把容易出错的输出层保留 FP16只量化 transformer 主体。代价是复杂度更高收益是输出质量更稳。量化后一定要做对比。跑同一组输入对比原始 FP16 模型和量化模型输出的 KL 散度、BLEU 或者任务准确率。如果接了 RAG校准集里还要包含检索回来的长文本片段否则模型面对真实检索输入时表现会大幅下降。我习惯写个脚本离线跑一遍这样每次升级模型时心里都有底。4.3 算子兼容性与框架差异算子兼容性问题最折磨人因为报错信息往往很抽象。我整理了一张速查表现象可能原因解决办法启动报 OOM显存不足或 CUDA context 占用过高调低 gpu-memory-utilization缩短 max-model-len生成速度极低量化未生效或 GPU 频率被限制检查日志中量化配置用 nvidia-smi 看功耗与频率输出时好时坏校准集偏差或采样温度过高换更贴近业务的校准集调低采样温度某个算子一直失败算子不支持或 CUDA 版本太低升级框架/CUDA或回退到 ONNX/CPU 实现排查思路是先最小化复现再切运行后端。比如 TensorRT-LLM 报某个算子不支持可以拿同一个模型在 vLLM 里跑一遍。如果 vLLM 正常说明模型本身没问题只是当前引擎不支持那就换图或换后端不用怀疑模型文件坏了。5. 经验与扩展踩坑记录和后续优化方向5.1 踩坑记录从起飞到翻车这些年踩过的坑挑几个印象最深的分享。第一个坑是只看 TOPS 就下单。有次选型只盯峰值算力到手一测跑 LLM 时吞吐不升反降。原因很简单带宽不够模型参数搬不动。后来学乖了先算一次“搬运全部权重需要多少时间”再决定买不买。这个时间算出来如果接近甚至超过单 token 生成时间的下限板卡再便宜也不能要。第二个坑是散热风道方向装反。NPU 板卡满载后温度飙升性能直接掉到标称的 70%。排查半天发现是机柜前送风方向和服务器内置风道互相打架。这个教训让我明白加速器部署不只是装软件热设计从一开始就要参与规划温度和功耗在任何高密度计算场景里都是硬约束。第三个坑是供电预算算少了。4 卡实测满载功耗比标称高 15% 左右一开机机柜跳闸。后来做任何硬件选型供电预算按标称功耗的 1.2 倍算宁可多留余量不要少留机柜的空开和 UPS 也要提前核对。第四个坑是校准集选得不对。拿通用新闻文本做量化校准模型上线后面对代码和数学题回复质量明显下降。后来改成从真实日志里抽 200 条覆盖各类场景的样本量化效果才稳定下来。校准数据这件事再强调也不过分它不是技术细节是决定量化成败的业务细节。5.2 后续扩展值得继续投入的四个方向项目跑通了但只是起点。目前我在持续关注四个方向也建议正在做类似项目的朋友跟进。一是自动前缀缓存。同一个知识库、同一段系统提示会反复出现在不同请求里自动识别并复用前置计算能省下大量时间。vLLM 等框架已经支持部分能力但还没到完全成熟的阶段值得自己研究。二是投机采样。用小模型先草拟多个 token大模型一次性校验如果草稿质量高生成吞吐可以提升 1.5 到 2 倍甚至更多。这个方案对部署框架要求比较高不是所有后端都支持但收益非常可观。三是 Prefill 和 Decode 分离。长上下文场景里首 token 阶段和逐 token 生成阶段对算力和显存的需求完全不一样把两个阶段拆到不同硬件甚至不同节点上资源利用率会有质的提升。四是异构混合调度。GPU 负责训练或复杂任务NPU 或 FPGA 负责常见推理负载中间用调度层统一编排。这条路离规模化落地还有距离但方向感已经很明确了。如果你的线上负载是 AI Agent 场景上下文长度通常比普通聊天长得多系统提示和工具调用会产生大量重复前缀。这种情况下前缀缓存和 KV Cache 优化的收益会更加明显选型时一定要把这部分负载单独建模压测而不是只看官网 demo 的速度。这个项目做到现在我最大的体会是硬件加速器不是把数字堆到天花板就完事的真正决定成败的是工程匹配度。算力、带宽、功耗、软件生态和业务场景这五件事必须一起算账。有人问我该不该上加速器我通常劝他先把手头模型的吞吐和延迟压测数据拿出来看看瓶颈在算力还是带宽再谈选型。测出来的每一分数据都比供应商 PPT 里的峰值数字值钱。先把流水摊开再决定要不要换引擎这条路永远不会走歪。
大模型推理加速全攻略：硬件选型、量化部署与性能调优实战
LLM 跑得慢、跑得贵、跑不起来——这是我这半年在做针对 LLM 的 AI 硬件加速器项目时听得最多的一句话。翻译成大白话就是大模型推理延迟太高用户等得不耐烦算力资源占用太狠生成一条回复的成本压得人心慌模型参数太大动不动几十 GB普通机器根本放不下。硬件加速器要干的就是把这几个问题一一按下去。这篇内容是我对这个项目的完整复盘从推理瓶颈拆解到硬件选型思路从量化部署到压力测试最后把工程里踩过的坑和当前在跟的优化方向全部摊开讲。无论你是刚开始接触大模型推理的开发者还是正在评估线上加速方案的架构师这些经验应该能帮你少走至少一轮弯路。1. 项目定义与核心思路拆解LLM 推理的瓶颈到底在哪先说清楚一个前提我们聊的 LLM 硬件加速器主要面向的是推理阶段的延迟、吞吐和成本优化而不是训练阶段的算力扩展。训练可以等推理等不了。用户敲下回车等五六秒第一个字还没出来这产品基本就废了。所以整个项目的出发点是让大模型在线上真实负载下跑得足够快、足够便宜、足够稳定。1.1 LLM 硬件加速到底在加速什么大模型的推理过程每一步都在做同一件事根据已有的前文预测下一个 token。这个“每一步”非常关键它意味着每生成一个 token都要把模型的全部权重从内存里搬出来参与一次完整的矩阵运算然后输出下一个 token 的分布。以 7B 模型为例参数量是 70 亿生成一个 token 大约需要跑 140 亿次左右的浮点运算。单看这个数字不算夸张但生成 1000 个 token 就要做 1000 次延迟就是这么一层层堆出来的。除了计算量更隐蔽的瓶颈在 KV Cache。模型每处理一个 token都会把当前这个 token 的 Key 和 Value 缓存下来避免后续重复计算。序列越长缓存占的显存越多。一个 32K 上下文、7B 模型的场景KV Cache 可能占掉几个 GB 显存。所以硬件加速器优化的不只是乘法速度还有内存访问的效率和数据复用的策略。这里可以给小白一个形象的说法LLM 每次生成 token 就像在一本大头书里查资料书页是模型权重查询过程是计算。硬件加速器的作用不是让“读书的人”眼睛更尖而是把翻页、摘抄、记录答案这些重复动作全部流水线化让每一页被翻到的成本大大降低。1.2 为什么通用芯片干这活越来越吃力通用 CPU 不是不能跑 LLM而是跑得又慢又贵。我这里总结成几堵墙。第一堵是算力墙。CPU 的设计目标是处理复杂指令、分支跳转、系统调度它的 ALU 核心数量有限。一个 8 核 CPU 的单精度浮点算力可能只有每秒几百 GFLOPs而一张中端 AI 加速卡轻松到几十甚至上百 TOPS。这个差距是数量级的模型一上 10B 以上CPU 基本只能靠长时间运行硬扛。第二堵是带宽墙。LLM 推理本质上是一个访存密集型任务每生成一个 token都需要把几十 GB 的模型权重从 DRAM 搬到计算单元。以 7B 模型为例FP16 权重有 14GB假设单卡内存带宽是 336GB/s光把所有权重读一遍就需要 42ms。这个时间折算成吞吐理论上限就只有大约 24 tokens/s。算得再快数据搬不过来也白搭。这也是为什么 HBM 高带宽内存成了 AI 加速器的标配普通 DDR5 那点带宽根本喂不饱模型。第三堵是功耗墙。数据中心的成本大头是电费。GPU 单卡动辄 300W 到 700W一台 8 卡服务器满载接近 5 到 6kW。如果要做高并发的线上推理电费和散热成本会直接吃掉利润。能把同样吞吐做到一半功耗的专用芯片商业吸引力是巨大的。第四堵是生态墙。GPU 有 CUDA 这么成熟的生态新加速器要让人迁过去必须提供顺手且兼容 PyTorch、vLLM 等主流框架的推理引擎。芯片本身算力再强软件栈跟不上迁移成本过高最后也只能停留在 PPT 上。这里有个容易被忽略的点带宽瓶颈在批量推理时会被摊薄。当同时处理多个请求时同一个权重可以被多个请求复用搬运成本均摊总吞吐就会明显上涨。这也意味着选型不能只盯单请求延迟还要看真实并发下的表现。1.3 方案选型GPU、NPU、FPGA、ASIC 怎么选选硬件方案本质上是在性能、成本、开发周期和生态成熟度之间做权衡。我整理了一个对比表方案核心优势主要短板适合场景GPU生态最成熟、框架兼容好、开发效率高功耗高、单价高、供货周期长开发调试、模型训练、混合负载NPU算力密度高、能效比好、批量部署成本低算子兼容性和软件栈仍需趟坑线上推理、边缘部署、规模化服务FPGA可重构、延迟可控、适合算法迭代期开发周期长、运行频率偏低算法未定型时的原型验证ASIC极致性能、最低功耗流片成本高、灵活性差大规模量产且算法稳定的场景如果只是跑通实验闭眼选 GPU 没毛病。如果目标是做规模化推理服务NPU 板卡值得认真评估。FPGA 更适合预算有限、算法还没定稿的团队做过渡。至于 ASIC通常是大厂或者爆款产品才会碰的选项。我在这个项目里走的是两步路先用现有 GPU 把全套流程压测出瓶颈再拿瓶颈数据去对比 NPU 板卡。这样选型不靠拍脑袋每一笔采购都有数据支撑。2. 加速器内部原理与关键指标解析了解加速器为什么快得先明白它内部是怎么组织的。很多人买卡只看一个 TOPS 数字这恰恰是最容易踩坑的地方。2.1 加速器内部如何工作从矩阵乘到数据流AI 加速器的本职工作是把 LLM 里占比超过 90% 的矩阵乘法用专用硬件跑掉。内部最核心的部件是 MAC 阵列也就是乘累加单元阵列。一次操作完成 a×bc矩阵乘法本质上就是海量乘累加的堆叠。GPU 靠数千个 CUDA core 干这件事NPU 则会堆更多更窄的 MAC 单元用数量换吞吐。但矩阵算完之后还有激活函数、LayerNorm、Softmax 这类元素级操作需要向量单元来处理。所以加速芯片通常分成两大块矩阵引擎负责重活向量引擎负责杂活。一个完整的 Transformer 层通常在两个引擎之间来回切换如果切换和数据搬运设计得好整体流水线才不会被卡住。数据流设计是决定性能的关键。打个比方矩阵引擎里的运算单元像车间工人工人旁边的寄存器与片上缓存就是工位置物架外部内存是仓库总线是传送带。设计得好的数据流会让权重和数据在“置物架”上反复复用尽量减少去仓库搬货的次数。GPU 里的 Tensor CoreNPU 里的专用缓存调度本质上都在解决同一个问题数据复用。这里要特别说一下 Attention 里的 QKV。有个很形象的拆法每个 token 同时承担三个角色——Query 是“我在找什么”Key 是“上下文里谁能回应我”Value 是“回应者真正提供的内容”。Transformer 的注意力机制就是让 Query 去匹配 Key再按匹配权重去取 Value。这个匹配和取数的过程是一大堆矩阵乘而且随序列长度二次方增长。上下文从 1K 涨到 8KAttention 阶段的算力需求理论上是原来的 64 倍。所以长文本场景下光靠通用芯片硬扛扛到一定程度必然崩。提示宣传里写“支持长文本”的加速卡一定要实测同等长度下的 Attention 耗时别只看模型能不能载入。2.2 三招降低翻书成本量化、稀疏化、算子融合第一招是量化。模型权重默认是 FP16 甚至 FP32每个数占 2 到 4 个字节。量化到 INT8每个数只占 1 个字节INT4 则只要 0.5 个字节。对 7B 模型来说FP16 要 14GBINT4 只要 3.5GB。权重搬运量直接降到四分之一带宽压力大幅缓解。代价是精度损失这个后面我专门讲。第二招是稀疏化。模型里有不少权重接近零对输出影响很小可以把这些权重裁掉让 MAC 阵列直接跳过无效计算。问题是稀疏计算对硬件设计极不友好不规则的数据布局反而可能拖慢读写速度。目前主流落地方式是结构化剪枝按块或按通道剪而不是逐元素剪。专用加速器才会专门做稀疏加速逻辑通用芯片基本靠软件模拟收益有限。第三招是算子融合。推理引擎会把多个相邻算子合成一个 kernel减少数据在显存和寄存器之间的来回搬移。最典型的是把 LayerNorm 和前面的矩阵乘融在一起或者把 Attention 里的 QKV 投影融合成一次大矩阵乘。框架层面已经有 FlashAttention 这类高度融合的实现硬件加速器落地时基本都要优先对接这些算子不然性能直接打折。别小看这三招它们不是孤立的。量化压缩权重稀疏化减少无效计算算子融合减少搬运开销三者叠加才是加速器在 LLM 上能真正拉开差距的原因。单一指标好看没用综合优化才有意义。2.3 硬件参数怎么看TOPS、TFLOPS、带宽与功耗看加速卡规格表最常见的四个参数是 TOPS、TFLOPS、显存带宽和功耗。TOPS 是整数运算的算力单位通常在 INT8 精度下标定TFLOPS 是浮点算力单位通常在 FP16/BF16 下标定。推理常用 INT8/INT4训练常用 FP16/BF16。一个卡如果只标了 FP16 的 TFLOPS那它在 INT8 下的性能可能差一半选型时一定要问清楚各个精度下的数字。显存带宽直接影响模型权重的搬运速度对 LLM 推理的影响甚至比峰值算力更直接。前面算过7B FP16 模型全部读一遍要 14GB 数据带宽 336GB/s 时理论极限只有 24 tokens/s 左右。这时就算算力再高都是白搭瓶颈一定在带宽。功耗决定部署密度。同样做 100 tokens/s 的吞吐A 卡 200WB 卡 350W常年跑下来电费差距非常大。所以我建议盯一个综合指标能效比单位是 tokens/s/W最好是在真实模型上的实测而不是纸面峰值。可以给一个粗略的算力天花板算法7B 模型生成一个 token 约需 14 GFLOPs 等效计算量一张标称 200 TOPS INT8 的加速卡理论上每秒钟能生成上万个 token。但现实里的 tokens/s 通常只有几十到几百因为权重要先从显存搬到计算单元搬运速度被带宽死死卡住。纸面算力是天花板访存才是实际地板。这就是为什么我一直强调拿到板卡先实测把模型、量化位宽、并发都定好跑一组基准数据再谈选型。3. 实操过程与部署实现从零搭建一条能跑的推理链路这一章我把项目里实际的部署过程完整过一遍。我的习惯是先在 GPU 上跑通全流程再评估切到 NPU 板卡。GPU 生态最成熟出的问题好排查NPU 板卡通常需要厂商私有 SDK适配周期长适合在方案验证完之后再切。3.1 环境准备驱动、容器与推理框架第一步确认驱动和硬件状态。Linux 服务器上执行nvidia-smi能看到显卡型号、驱动版本、显存占用和 CUDA 版本。驱动装好之后再装对应版本的 CUDA Toolkit 和 cuDNN版本错配会在后面跑算子时报一堆莫名其妙的错误。第二步是准备运行环境。我强烈推荐用 Docker 加 NVIDIA Container Toolkit把宿主机系统污染控制在最小。拉一个 PyTorch 官方镜像再在容器里装推理框架出问题时整个环境可以一键重建。# 拉取 PyTorch 官方镜像 docker pull pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime # 进入容器挂载模型目录 docker run --gpus all -it --shm-size16g \ -v /data/models:/models \ pytorch/pytorch:2.3.1-cuda12.1-cudnn8-runtime bash # 在容器内安装推理框架 pip install vllm transformers accelerate第三步选推理框架。这里没有通用的最优解只有最合适的场景。vLLM 适合高并发 API 服务自带的 PagedAttention 和连续批处理特性很能打TensorRT-LLM 适合追求极致性能但愿意花时间调优的团队llama.cpp 适合单机低资源边缘部署量化格式统一方便在无 GPU 环境运行。3.2 模型量化与部署配置AWQ、GPTQ 怎么选量化不是只能无脑跑命令选哪个方案要结合场景。GPTQ 是经典方案离线一次性量化误差补偿做得好AWQ 按激活值通道重要性调整权重缩放INT4 下稳定性往往更好。llama.cpp 生态则有自己的 GGUF 量化格式适合边缘设备。我的习惯是线上服务优先用 AWQ因为上线后的效果更可控。下面是以 vLLM 启动一个 AWQ 量化模型的例子python -m vllm.entrypoints.openai.api_server \ --model /models/Llama-3-8B-Instruct-AWQ \ --quantization awq \ --dtype half \ --max-model-len 32768 \ --gpu-memory-utilization 0.92 \ --tensor-parallel-size 1 \ --served-model-name llama3-8b参数逐个解释一下。--max-model-len 32768用来限制最大上下文长度避免 KV Cache 无限膨胀把显存吃光。--gpu-memory-utilization 0.92给 CUDA context 和显存碎片留出余地设成 1.0 很容易在运行中触发 OOM。--tensor-parallel-size 1表示单卡部署70B 这类大模型要按卡数调大。--served-model-name是 API 对外暴露的名字方便后面路由。3.3 推理性能测试与调优用数据说话服务跑起来之后不要急着上线先压测。我最常用的组合是用 vLLM 自带的 benchmark 测吞吐和延迟用 lm_eval_harness 测精度变化再用一组固定 prompt 做人工抽检。测试维度至少要看四个TTFT 首 token 延迟、ITL 每个 token 生成延迟、总吞吐 tokens/s、并发请求下的 P50/P99 延迟。很多新手只盯 tokens/s结果并发一上来延迟爆炸线上用户体感非常差。调优顺序我有自己的偏好先看显存利用率再调 batch 大小然后看是否开启 prefix caching 和 chunked prefill最后才考虑换更底层的推理引擎。盲调超参没有任何意义每一轮改动都要记录数据。# 压测请求 python benchmarks/benchmark_serving.py \ --model /models/Llama-3-8B-Instruct-AWQ \ --tokenizer /models/Llama-3-8B-Instruct-AWQ \ --num-prompts 500 \ --request-rate 20 \ --max-num-seqs 323.4 实测结果与对比7B、13B、70B 的差距有次项目验收我记录了一组参考数据。设备是某款 NPU 加速板模型统一用 AWQ INT4输入输出总长控制在 1024 token 左右。先说明不同厂商板卡、不同框架版本、不同 prompt 长度数据差一倍以上都很正常这组数字只代表“某一次特定配置下的表现”。模型量化并发 1 吞吐tokens/s并发 16 吞吐tokens/sTTFTs7BINT4 AWQ422680.3513BINT4 AWQ241410.5270BINT4 AWQ6741.3它验证了一个规律模型规模翻倍单流吞吐并不是严格减半因为访存与算力的平衡点不同并发上来后总吞吐会涨但延迟也会涨需要业务侧做取舍。70B 单卡直接塞不下这里用的是 4 卡张量并行。如果你也要跑 70B记得把--tensor-parallel-size设成对应的卡数不然启动阶段就会报错。4. 常见问题与排查技巧实录显存、精度与兼容性这一章把我在实际部署和运行中遇到的高频问题整理出来按三个主题展开显存不够、量化掉精度、算子兼容性。4.1 显存不足大模型放不下的工程化解法显存估算有一个粗糙但实用的公式模型权重显存约等于参数量 × 每个权重字节数KV Cache 另算激活值再补一点。举例70B 模型INT4 权重就是 70 × 0.5 35GB。如果序列长度 4KKV Cache 可能再占 8 到 12GB单卡 48GB 就会非常紧张。这时候有几条路可以走。第一条路是调小max-model-len直接限制 KV Cache 的膨胀空间。第二条路是对 KV Cache 做 INT8 量化能省一半缓存占用。第三条路是张量并行把模型拆到多卡上。第四条路是 CPU offload把部分权重放内存里但不到万不得已别用PCIe 带宽会拖慢速度。实操细节上vLLM 里gpu-memory-utilization不要设成 1.0留 5% 到 10% 给 CUDA context 和显存碎片。设成 0.92 是一个比较稳的起点。如果线上请求长度波动很大还可以结合 chunked prefill把长 prompt 的预填充阶段切碎避免单个大请求把显存瞬间吃满。4.2 量化掉精度模型变笨了怎么办量化后模型变笨是最常见的问题。第一反应先别甩锅给芯片检查三点校准集和线上数据分布是否差太远某些敏感层是否被压得太狠采样参数是否设置过高。前两个是量化问题第三个是推理参数问题不要混在一起。我的直接经验是如果业务是代码生成或数学推理INT4 的退化非常明显。对这类场景优先用 INT8或者只把聊天类模型压到 INT4。可以用混合精度把容易出错的输出层保留 FP16只量化 transformer 主体。代价是复杂度更高收益是输出质量更稳。量化后一定要做对比。跑同一组输入对比原始 FP16 模型和量化模型输出的 KL 散度、BLEU 或者任务准确率。如果接了 RAG校准集里还要包含检索回来的长文本片段否则模型面对真实检索输入时表现会大幅下降。我习惯写个脚本离线跑一遍这样每次升级模型时心里都有底。4.3 算子兼容性与框架差异算子兼容性问题最折磨人因为报错信息往往很抽象。我整理了一张速查表现象可能原因解决办法启动报 OOM显存不足或 CUDA context 占用过高调低 gpu-memory-utilization缩短 max-model-len生成速度极低量化未生效或 GPU 频率被限制检查日志中量化配置用 nvidia-smi 看功耗与频率输出时好时坏校准集偏差或采样温度过高换更贴近业务的校准集调低采样温度某个算子一直失败算子不支持或 CUDA 版本太低升级框架/CUDA或回退到 ONNX/CPU 实现排查思路是先最小化复现再切运行后端。比如 TensorRT-LLM 报某个算子不支持可以拿同一个模型在 vLLM 里跑一遍。如果 vLLM 正常说明模型本身没问题只是当前引擎不支持那就换图或换后端不用怀疑模型文件坏了。5. 经验与扩展踩坑记录和后续优化方向5.1 踩坑记录从起飞到翻车这些年踩过的坑挑几个印象最深的分享。第一个坑是只看 TOPS 就下单。有次选型只盯峰值算力到手一测跑 LLM 时吞吐不升反降。原因很简单带宽不够模型参数搬不动。后来学乖了先算一次“搬运全部权重需要多少时间”再决定买不买。这个时间算出来如果接近甚至超过单 token 生成时间的下限板卡再便宜也不能要。第二个坑是散热风道方向装反。NPU 板卡满载后温度飙升性能直接掉到标称的 70%。排查半天发现是机柜前送风方向和服务器内置风道互相打架。这个教训让我明白加速器部署不只是装软件热设计从一开始就要参与规划温度和功耗在任何高密度计算场景里都是硬约束。第三个坑是供电预算算少了。4 卡实测满载功耗比标称高 15% 左右一开机机柜跳闸。后来做任何硬件选型供电预算按标称功耗的 1.2 倍算宁可多留余量不要少留机柜的空开和 UPS 也要提前核对。第四个坑是校准集选得不对。拿通用新闻文本做量化校准模型上线后面对代码和数学题回复质量明显下降。后来改成从真实日志里抽 200 条覆盖各类场景的样本量化效果才稳定下来。校准数据这件事再强调也不过分它不是技术细节是决定量化成败的业务细节。5.2 后续扩展值得继续投入的四个方向项目跑通了但只是起点。目前我在持续关注四个方向也建议正在做类似项目的朋友跟进。一是自动前缀缓存。同一个知识库、同一段系统提示会反复出现在不同请求里自动识别并复用前置计算能省下大量时间。vLLM 等框架已经支持部分能力但还没到完全成熟的阶段值得自己研究。二是投机采样。用小模型先草拟多个 token大模型一次性校验如果草稿质量高生成吞吐可以提升 1.5 到 2 倍甚至更多。这个方案对部署框架要求比较高不是所有后端都支持但收益非常可观。三是 Prefill 和 Decode 分离。长上下文场景里首 token 阶段和逐 token 生成阶段对算力和显存的需求完全不一样把两个阶段拆到不同硬件甚至不同节点上资源利用率会有质的提升。四是异构混合调度。GPU 负责训练或复杂任务NPU 或 FPGA 负责常见推理负载中间用调度层统一编排。这条路离规模化落地还有距离但方向感已经很明确了。如果你的线上负载是 AI Agent 场景上下文长度通常比普通聊天长得多系统提示和工具调用会产生大量重复前缀。这种情况下前缀缓存和 KV Cache 优化的收益会更加明显选型时一定要把这部分负载单独建模压测而不是只看官网 demo 的速度。这个项目做到现在我最大的体会是硬件加速器不是把数字堆到天花板就完事的真正决定成败的是工程匹配度。算力、带宽、功耗、软件生态和业务场景这五件事必须一起算账。有人问我该不该上加速器我通常劝他先把手头模型的吞吐和延迟压测数据拿出来看看瓶颈在算力还是带宽再谈选型。测出来的每一分数据都比供应商 PPT 里的峰值数字值钱。先把流水摊开再决定要不要换引擎这条路永远不会走歪。
