1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会下意识地把它和“训练优化器”混为一谈。训练优化器是 Adam、SGD、RMSprop 那一类东西负责在反向传播时更新权重而 Model-Optimizer 是另一条线上的工具它处理的是模型已经训练完成之后的事情——把一个大模型压缩、量化、蒸馏、剪枝让它在推理阶段跑得更快、占得更少、部署成本更低。说白了训练优化器管“怎么学”Model-Optimizer 管“怎么用”。我最早接触这类工具是在一个边缘设备部署项目里。当时手里有一个参数量接近 7B 的模型业务方要求跑在一台显存只有 8GB 的机器上还要保证响应延迟低于 500ms。这个需求用原始模型根本不可能实现于是整个项目的核心工作就变成了围绕 Model-Optimizer 做文章量化到 INT8、剪掉冗余注意力头、再用蒸馏补回精度。最后模型体积压到了原来的四分之一延迟降到了 300ms 出头精度只掉了不到 1.5 个百分点。那次经历让我彻底意识到Model-Optimizer 不是一个可选项而是模型落地链条上绕不过去的一环。这篇文章适合谁看如果你正在做模型部署、推理加速、端侧落地或者单纯觉得自己的模型“太大太慢太贵”那这里的内容应该能帮到你。我会从整体设计思路讲到具体实操包括量化参数怎么选、剪枝比例怎么定、蒸馏温度怎么调以及我在实际项目里踩过的那些坑。不需要你是算法专家只要你对模型推理有基本概念就能跟着往下走。2. 整体设计思路与方案选型拆解2.1 为什么不能只靠“换个更小的模型”很多人面对模型太大的第一反应是换个小模型不就行了比如把 7B 换成 1.5B把 BERT-Large 换成 BERT-Base。这个思路在有些场景下确实有效但它有两个致命问题。第一小模型的精度上限摆在那里有些任务就是需要足够的参数量才能学到复杂的模式你换小了精度直接崩。第二业务方往往已经围绕大模型的输出做了大量下游适配换模型意味着整条链路都要重新调成本极高。Model-Optimizer 的价值就在于它能在保持原有模型结构基本不变的前提下通过量化、剪枝、蒸馏等手段把模型“瘦身”。这就像给一辆车做轻量化改装而不是直接换一辆小排量的车。你保留了原有的驾驶体验只是让它更省油、更快。2.2 量化、剪枝、蒸馏三条路怎么选Model-Optimizer 的核心手段其实就三类我一般把它们叫做“三把刀”。量化是把模型权重和激活值从 FP32 或 FP16 降到 INT8、INT4 甚至更低。它的优势是通用性强、实现相对简单、加速效果立竿见影。缺点是低比特量化会带来精度损失尤其是 INT4 以下需要配合校准数据集来减少误差。剪枝是去掉模型中不重要的权重、神经元或注意力头。结构化剪枝可以直接减少计算量非结构化剪枝则更多是压缩存储。剪枝的难点在于“判断哪些不重要”需要设计合理的重要性评分标准。蒸馏是让一个小模型学生去模仿大模型老师的输出分布。它的优势是精度保持得好缺点是训练成本高而且需要重新训练一个学生模型不是纯粹的“后处理”。在实际项目里这三把刀往往是组合使用的。我的经验是先剪枝再量化蒸馏作为精度补偿的兜底手段。先剪枝可以把模型结构变小再量化时校准的搜索空间也会小很多如果量化后精度掉得厉害再用蒸馏做一轮微调通常能把精度拉回来。2.3 工具链选型的几个考量维度市面上做模型优化的工具不少选型时我一般看四个维度。维度说明常见考量框架兼容性是否支持你用的训练框架PyTorch、TensorFlow、ONNX量化粒度支持哪些比特宽度和粒度Per-tensor、Per-channel、INT8/INT4硬件后端目标部署硬件的支持情况CPU、GPU、NPU、边缘芯片易用性API 是否友好、文档是否完整是否需要手写校准逻辑我个人的偏好是优先选和训练框架同源的方案比如 PyTorch 生态里的优化工具因为张量布局、算子语义都是一致的踩坑概率低。如果目标硬件有官方推荐的优化工具链那也值得优先考虑毕竟硬件厂商对自己的芯片最了解。3. 核心细节解析与实操要点3.1 量化从 FP32 到 INT8 的关键参数量化是 Model-Optimizer 里最常用也最容易上手的手段。它的基本原理用一个生活类比就能说清楚原来你用一把精度到毫米的尺子量东西现在换成一把精度到厘米的尺子虽然精度降了但读数更快、记录更方便。只要你的东西不是精密到毫米级别厘米尺子完全够用。量化的核心公式是q round(x / scale) zero_point其中scale是缩放因子zero_point是零点偏移。这两个参数决定了量化后的数值分布。scale选得太大精度损失严重选得太小数值容易溢出。实操中scale的计算方式有两种对称量化和非对称量化。对称量化假设数据分布关于零对称zero_point固定为 0计算简单非对称量化则允许零点偏移适合数据分布偏斜的情况比如 ReLU 之后的激活值全是非负的。我在实际项目里的经验是权重量化用对称激活量化用非对称。权重通常近似对称分布对称量化足够激活值经过 ReLU 后偏向一侧非对称量化能更好地保留信息。校准数据集的选择也很关键。一般从训练集里随机抽 100 到 500 个样本就够了太多没必要太少会导致scale估计不准。我试过用 50 个样本校准结果在某些长尾类别上精度掉了 5 个点后来加到 200 个样本就稳定了。注意校准数据一定要覆盖所有主要的数据分布不能只用某一类样本。我曾经偷懒只用了一个类别的数据做校准结果其他类别的精度惨不忍睹。3.2 剪枝结构化与非结构化的取舍剪枝的核心思想是神经网络里有很多权重其实贡献很小去掉它们对输出影响不大。这就像一支足球队虽然报名了 30 个人但真正上场踢球的核心就那 11 个剩下的替补大部分时间在坐板凳。剪枝分两种。非结构化剪枝是把单个权重置零模型体积能压缩但计算量不一定减少因为硬件还是按稠密矩阵算。结构化剪枝是直接去掉整个通道、整个注意力头计算量能实打实地降下来。我一般推荐结构化剪枝因为部署时的收益更直接。具体操作上先对每一层计算重要性评分常用的评分标准有权重的 L1/L2 范数激活值的平均幅度梯度信息需要训练时记录然后按评分排序剪掉最低的那部分。剪枝比例怎么定我的经验是从 10% 开始试逐步加到 30%每加一次测一次精度。超过 30% 之后精度通常会明显下降除非配合蒸馏做补偿。提示剪枝后一定要做一轮微调哪怕只训练几个 epoch精度也能回升不少。我试过剪枝 20% 不微调精度掉了 3 个点微调 5 个 epoch 后只掉了 0.8 个点。3.3 蒸馏温度参数和损失权重的调法蒸馏是让一个小模型去学大模型的“软标签”。大模型输出的概率分布里包含了类别之间的相似性信息比如一张猫的图片大模型可能给出“猫 0.9、狗 0.08、兔子 0.02”这个分布比硬标签“猫 1.0、其他 0”信息量更大。蒸馏的核心参数是温度 T。温度越高概率分布越平滑学生模型能学到的类间关系越多温度越低分布越尖锐接近硬标签。常用的 T 值在 2 到 10 之间。我一般从 T4 开始试根据学生模型的收敛情况调整。损失函数通常是两部分加权loss alpha * hard_loss (1 - alpha) * soft_losshard_loss是学生模型和真实标签的交叉熵soft_loss是学生模型和老师模型软标签的 KL 散度。alpha一般取 0.1 到 0.5我常用 0.3。alpha太大学生模型学不到老师的知识太小又容易偏离真实任务目标。3.4 组合策略先剪后量再蒸馏单独用某一种手段效果有限组合起来才能把模型压到极致。我常用的流程是先做结构化剪枝剪掉 15% 到 25% 的冗余结构微调 3 到 5 个 epoch 恢复精度做 INT8 量化用校准数据集确定 scale如果精度不达标用蒸馏做最后一轮补偿这个流程的好处是每一步的搜索空间都被前一步缩小了。剪枝后模型变小量化的校准更快量化后模型更紧凑蒸馏的训练成本也更低。4. 实操过程与核心环节实现4.1 环境准备与依赖安装假设你用 PyTorch 做训练目标是把一个 BERT 类模型优化后部署到 CPU 上。先装好基础环境pip install torch transformers datasets pip install onnx onnxruntime如果要用专门的量化工具可以再装对应的库。我一般会用 ONNX Runtime 做量化因为它的 CPU 推理优化做得比较成熟。pip install onnxruntime-tools环境准备好之后先把训练好的模型导出成 ONNX 格式。这一步很关键因为后续的量化、剪枝都在 ONNX 图上操作。import torch from transformers import AutoModelForSequenceClassification model AutoModelForSequenceClassification.from_pretrained(your-model) dummy_input torch.randint(0, 1000, (1, 128)) torch.onnx.export( model, dummy_input, model.onnx, input_names[input_ids], output_names[logits], dynamic_axes{input_ids: {0: batch, 1: seq}}, opset_version13 )opset_version建议用 13 或更高低版本对某些算子的支持不好。dynamic_axes要设置好否则部署时 batch size 和序列长度会被固定死。4.2 量化校准的完整流程导出 ONNX 之后用校准数据集做量化。校准数据的准备很关键我一般从验证集里抽 200 个样本确保覆盖所有类别。from onnxruntime.quantization import quantize_dynamic, QuantType quantize_dynamic( model_inputmodel.onnx, model_outputmodel_int8.onnx, weight_typeQuantType.QInt8 )这是动态量化权重量化到 INT8激活值在推理时动态量化。它的优点是简单不需要校准数据缺点是激活值的量化精度不如静态量化。如果要更好的效果用静态量化from onnxruntime.quantization import quantize_static, CalibrationDataReader class DataReader(CalibrationDataReader): def __init__(self, data): self.data data self.iter iter(data) def get_next(self): return next(self.iter, None) reader DataReader(calibration_data) quantize_static( model_inputmodel.onnx, model_outputmodel_int8_static.onnx, calibration_data_readerreader, quant_formatQuantFormat.QDQ )QuantFormat.QDQ是 Quantize-DeQuantize 格式兼容性更好。静态量化的精度通常比动态量化高 1 到 2 个点但需要准备校准数据。4.3 剪枝的具体操作与参数计算剪枝我用的是基于权重范数的方法。先加载模型对每一层的权重计算 L2 范数然后按比例剪掉最小的那部分。import torch.nn.utils.prune as prune for name, module in model.named_modules(): if isinstance(module, torch.nn.Linear): prune.ln_structured( module, nameweight, amount0.2, n2, dim0 )amount0.2表示剪掉 20% 的通道dim0表示按输出通道剪。剪完之后要调用prune.remove把剪枝永久化否则每次前向传播都会重新计算掩码影响速度。for name, module in model.named_modules(): if isinstance(module, torch.nn.Linear): prune.remove(module, weight)剪枝比例的计算有个经验公式每层剪枝比例 全局目标比例 × 该层冗余度系数。冗余度系数可以根据该层权重的分布来定分布越集中方差小冗余度越高可以多剪一些。我一般让浅层少剪、深层多剪因为浅层提取的是基础特征剪多了影响大。4.4 蒸馏训练的关键代码蒸馏需要一个老师模型和一个学生模型。老师模型就是原始的大模型学生模型可以是剪枝后的模型也可以是一个独立设计的小模型。import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4, alpha0.3): soft_loss F.kl_div( F.log_softmax(student_logits / T, dim-1), F.softmax(teacher_logits / T, dim-1), reductionbatchmean ) * (T * T) hard_loss F.cross_entropy(student_logits, labels) return alpha * hard_loss (1 - alpha) * soft_loss注意soft_loss要乘以T * T这是因为温度缩放后梯度会变小乘上T²可以保持梯度量级一致。这个细节很多人会忽略导致蒸馏训练收敛很慢。训练时老师模型要设为 eval 模式并且不计算梯度teacher.eval() with torch.no_grad(): teacher_logits teacher(input_ids)学生模型正常训练优化器用 AdamW学习率比正常训练小一个量级我一般用 1e-5 到 5e-5。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么办这是最常见的问题。量化后精度掉个 1 到 2 个点算正常掉 5 个点以上就要排查了。我整理了一个排查顺序现象可能原因排查方法所有类别精度都掉校准数据分布不对检查校准集是否覆盖全类别某些类别精度暴跌该类别样本太少增加该类别的校准样本精度掉但推理速度没提升量化算子没被硬件支持检查推理后端的算子支持列表INT4 量化精度崩比特太低回退到 INT8 或混合精度我遇到过一次精度暴跌排查了半天发现是校准数据里混入了 padding 的 token导致 scale 估计偏了。后来把 padding 过滤掉就正常了。这个坑很隐蔽因为 padding 在训练时是正常的但量化校准时会干扰统计。提示校准前一定要把数据预处理做干净尤其是 padding、mask 这些辅助 token能过滤就过滤。5.2 剪枝后模型跑不起来剪枝后模型结构变了如果下游代码里硬编码了维度就会报错。比如原来某个 Linear 层是 768 维输出剪枝后变成 614 维后面的层如果还按 768 接收就会崩。解决办法是在剪枝时同步更新下游层的输入维度。用 PyTorch 的prune工具时它会自动处理依赖关系但如果你手动改结构就要自己维护维度一致性。我的建议是剪枝后先跑一遍前向传播确认没有维度错误再继续。另一个常见问题是剪枝后模型保存再加载时结构对不上。这是因为剪枝后的模型结构和原始结构不同加载时需要先重建剪枝后的结构。我一般会把剪枝后的模型直接导出成 ONNX避免 PyTorch 的 state_dict 加载问题。5.3 蒸馏训练不收敛蒸馏训练不收敛通常有三个原因。第一是温度 T 设得不对T 太大导致软标签太平滑学生模型学不到有效信息T 太小又接近硬标签蒸馏没意义。第二是 alpha 权重失衡hard_loss 和 soft_loss 量级差太多。第三是学习率太大学生模型在软标签上震荡。我的调试顺序是先把 alpha 设为 1.0只用 hard_loss确认学生模型能正常收敛然后逐步降低 alpha加入 soft_loss观察 loss 曲线最后调 T从 2 开始逐步加到 8找到精度最高的点。5.4 优化后推理速度没提升这个问题往往不是优化本身的问题而是推理后端的问题。量化后的模型如果推理引擎不支持 INT8 算子它会自动回退到 FP32 计算速度自然没提升。排查方法是看推理日志里有没有“fallback”或“unsupported operator”之类的提示。如果有要么换一个支持更好的推理引擎要么把不支持的算子单独拿出来用 FP32 跑。我一般会用 ONNX Runtime 的 profiling 工具看每个算子的耗时定位瓶颈在哪里。另一个容易被忽略的点是内存带宽。有些模型计算量不大但参数量大瓶颈在内存读取而不是计算。这种情况下量化能减少内存占用速度提升会很明显但如果瓶颈在计算量化对速度的帮助就有限。6. 我个人的实操心得与建议做模型优化这几年最大的体会是不要追求一步到位要小步快跑。我见过太多人一上来就想把模型量化到 INT4、剪枝 50%结果精度崩了回头重新调反而浪费时间。正确的做法是每次只动一个变量量化先做 INT8剪枝先剪 10%确认精度和速度都符合预期再往下压。另一个心得是精度和速度的权衡要提前和业务方对齐。有些业务场景对精度极其敏感掉 0.5 个点都不能接受那就只能牺牲速度有些场景精度掉 2 个点无所谓那就可以压得更狠。这个边界一定要在项目开始前就明确否则做到一半发现精度不达标返工成本很高。最后分享一个小技巧优化前先做一轮 baseline 测试记录原始模型的精度、延迟、内存占用。优化后的每一个版本都和 baseline 对比这样才能清楚地知道每一步优化带来了多少收益、多少损失。我一般会用一个表格记录每次实验的配置和结果方便回溯和对比。这个方向后续还可以往自动化搜索走比如用贝叶斯优化自动搜索最优的剪枝比例和量化配置减少人工调参的成本。不过那是另一个话题了有机会再展开聊。
Model-Optimizer实战：量化、剪枝与蒸馏加速模型推理部署
1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会下意识地把它和“训练优化器”混为一谈。训练优化器是 Adam、SGD、RMSprop 那一类东西负责在反向传播时更新权重而 Model-Optimizer 是另一条线上的工具它处理的是模型已经训练完成之后的事情——把一个大模型压缩、量化、蒸馏、剪枝让它在推理阶段跑得更快、占得更少、部署成本更低。说白了训练优化器管“怎么学”Model-Optimizer 管“怎么用”。我最早接触这类工具是在一个边缘设备部署项目里。当时手里有一个参数量接近 7B 的模型业务方要求跑在一台显存只有 8GB 的机器上还要保证响应延迟低于 500ms。这个需求用原始模型根本不可能实现于是整个项目的核心工作就变成了围绕 Model-Optimizer 做文章量化到 INT8、剪掉冗余注意力头、再用蒸馏补回精度。最后模型体积压到了原来的四分之一延迟降到了 300ms 出头精度只掉了不到 1.5 个百分点。那次经历让我彻底意识到Model-Optimizer 不是一个可选项而是模型落地链条上绕不过去的一环。这篇文章适合谁看如果你正在做模型部署、推理加速、端侧落地或者单纯觉得自己的模型“太大太慢太贵”那这里的内容应该能帮到你。我会从整体设计思路讲到具体实操包括量化参数怎么选、剪枝比例怎么定、蒸馏温度怎么调以及我在实际项目里踩过的那些坑。不需要你是算法专家只要你对模型推理有基本概念就能跟着往下走。2. 整体设计思路与方案选型拆解2.1 为什么不能只靠“换个更小的模型”很多人面对模型太大的第一反应是换个小模型不就行了比如把 7B 换成 1.5B把 BERT-Large 换成 BERT-Base。这个思路在有些场景下确实有效但它有两个致命问题。第一小模型的精度上限摆在那里有些任务就是需要足够的参数量才能学到复杂的模式你换小了精度直接崩。第二业务方往往已经围绕大模型的输出做了大量下游适配换模型意味着整条链路都要重新调成本极高。Model-Optimizer 的价值就在于它能在保持原有模型结构基本不变的前提下通过量化、剪枝、蒸馏等手段把模型“瘦身”。这就像给一辆车做轻量化改装而不是直接换一辆小排量的车。你保留了原有的驾驶体验只是让它更省油、更快。2.2 量化、剪枝、蒸馏三条路怎么选Model-Optimizer 的核心手段其实就三类我一般把它们叫做“三把刀”。量化是把模型权重和激活值从 FP32 或 FP16 降到 INT8、INT4 甚至更低。它的优势是通用性强、实现相对简单、加速效果立竿见影。缺点是低比特量化会带来精度损失尤其是 INT4 以下需要配合校准数据集来减少误差。剪枝是去掉模型中不重要的权重、神经元或注意力头。结构化剪枝可以直接减少计算量非结构化剪枝则更多是压缩存储。剪枝的难点在于“判断哪些不重要”需要设计合理的重要性评分标准。蒸馏是让一个小模型学生去模仿大模型老师的输出分布。它的优势是精度保持得好缺点是训练成本高而且需要重新训练一个学生模型不是纯粹的“后处理”。在实际项目里这三把刀往往是组合使用的。我的经验是先剪枝再量化蒸馏作为精度补偿的兜底手段。先剪枝可以把模型结构变小再量化时校准的搜索空间也会小很多如果量化后精度掉得厉害再用蒸馏做一轮微调通常能把精度拉回来。2.3 工具链选型的几个考量维度市面上做模型优化的工具不少选型时我一般看四个维度。维度说明常见考量框架兼容性是否支持你用的训练框架PyTorch、TensorFlow、ONNX量化粒度支持哪些比特宽度和粒度Per-tensor、Per-channel、INT8/INT4硬件后端目标部署硬件的支持情况CPU、GPU、NPU、边缘芯片易用性API 是否友好、文档是否完整是否需要手写校准逻辑我个人的偏好是优先选和训练框架同源的方案比如 PyTorch 生态里的优化工具因为张量布局、算子语义都是一致的踩坑概率低。如果目标硬件有官方推荐的优化工具链那也值得优先考虑毕竟硬件厂商对自己的芯片最了解。3. 核心细节解析与实操要点3.1 量化从 FP32 到 INT8 的关键参数量化是 Model-Optimizer 里最常用也最容易上手的手段。它的基本原理用一个生活类比就能说清楚原来你用一把精度到毫米的尺子量东西现在换成一把精度到厘米的尺子虽然精度降了但读数更快、记录更方便。只要你的东西不是精密到毫米级别厘米尺子完全够用。量化的核心公式是q round(x / scale) zero_point其中scale是缩放因子zero_point是零点偏移。这两个参数决定了量化后的数值分布。scale选得太大精度损失严重选得太小数值容易溢出。实操中scale的计算方式有两种对称量化和非对称量化。对称量化假设数据分布关于零对称zero_point固定为 0计算简单非对称量化则允许零点偏移适合数据分布偏斜的情况比如 ReLU 之后的激活值全是非负的。我在实际项目里的经验是权重量化用对称激活量化用非对称。权重通常近似对称分布对称量化足够激活值经过 ReLU 后偏向一侧非对称量化能更好地保留信息。校准数据集的选择也很关键。一般从训练集里随机抽 100 到 500 个样本就够了太多没必要太少会导致scale估计不准。我试过用 50 个样本校准结果在某些长尾类别上精度掉了 5 个点后来加到 200 个样本就稳定了。注意校准数据一定要覆盖所有主要的数据分布不能只用某一类样本。我曾经偷懒只用了一个类别的数据做校准结果其他类别的精度惨不忍睹。3.2 剪枝结构化与非结构化的取舍剪枝的核心思想是神经网络里有很多权重其实贡献很小去掉它们对输出影响不大。这就像一支足球队虽然报名了 30 个人但真正上场踢球的核心就那 11 个剩下的替补大部分时间在坐板凳。剪枝分两种。非结构化剪枝是把单个权重置零模型体积能压缩但计算量不一定减少因为硬件还是按稠密矩阵算。结构化剪枝是直接去掉整个通道、整个注意力头计算量能实打实地降下来。我一般推荐结构化剪枝因为部署时的收益更直接。具体操作上先对每一层计算重要性评分常用的评分标准有权重的 L1/L2 范数激活值的平均幅度梯度信息需要训练时记录然后按评分排序剪掉最低的那部分。剪枝比例怎么定我的经验是从 10% 开始试逐步加到 30%每加一次测一次精度。超过 30% 之后精度通常会明显下降除非配合蒸馏做补偿。提示剪枝后一定要做一轮微调哪怕只训练几个 epoch精度也能回升不少。我试过剪枝 20% 不微调精度掉了 3 个点微调 5 个 epoch 后只掉了 0.8 个点。3.3 蒸馏温度参数和损失权重的调法蒸馏是让一个小模型去学大模型的“软标签”。大模型输出的概率分布里包含了类别之间的相似性信息比如一张猫的图片大模型可能给出“猫 0.9、狗 0.08、兔子 0.02”这个分布比硬标签“猫 1.0、其他 0”信息量更大。蒸馏的核心参数是温度 T。温度越高概率分布越平滑学生模型能学到的类间关系越多温度越低分布越尖锐接近硬标签。常用的 T 值在 2 到 10 之间。我一般从 T4 开始试根据学生模型的收敛情况调整。损失函数通常是两部分加权loss alpha * hard_loss (1 - alpha) * soft_losshard_loss是学生模型和真实标签的交叉熵soft_loss是学生模型和老师模型软标签的 KL 散度。alpha一般取 0.1 到 0.5我常用 0.3。alpha太大学生模型学不到老师的知识太小又容易偏离真实任务目标。3.4 组合策略先剪后量再蒸馏单独用某一种手段效果有限组合起来才能把模型压到极致。我常用的流程是先做结构化剪枝剪掉 15% 到 25% 的冗余结构微调 3 到 5 个 epoch 恢复精度做 INT8 量化用校准数据集确定 scale如果精度不达标用蒸馏做最后一轮补偿这个流程的好处是每一步的搜索空间都被前一步缩小了。剪枝后模型变小量化的校准更快量化后模型更紧凑蒸馏的训练成本也更低。4. 实操过程与核心环节实现4.1 环境准备与依赖安装假设你用 PyTorch 做训练目标是把一个 BERT 类模型优化后部署到 CPU 上。先装好基础环境pip install torch transformers datasets pip install onnx onnxruntime如果要用专门的量化工具可以再装对应的库。我一般会用 ONNX Runtime 做量化因为它的 CPU 推理优化做得比较成熟。pip install onnxruntime-tools环境准备好之后先把训练好的模型导出成 ONNX 格式。这一步很关键因为后续的量化、剪枝都在 ONNX 图上操作。import torch from transformers import AutoModelForSequenceClassification model AutoModelForSequenceClassification.from_pretrained(your-model) dummy_input torch.randint(0, 1000, (1, 128)) torch.onnx.export( model, dummy_input, model.onnx, input_names[input_ids], output_names[logits], dynamic_axes{input_ids: {0: batch, 1: seq}}, opset_version13 )opset_version建议用 13 或更高低版本对某些算子的支持不好。dynamic_axes要设置好否则部署时 batch size 和序列长度会被固定死。4.2 量化校准的完整流程导出 ONNX 之后用校准数据集做量化。校准数据的准备很关键我一般从验证集里抽 200 个样本确保覆盖所有类别。from onnxruntime.quantization import quantize_dynamic, QuantType quantize_dynamic( model_inputmodel.onnx, model_outputmodel_int8.onnx, weight_typeQuantType.QInt8 )这是动态量化权重量化到 INT8激活值在推理时动态量化。它的优点是简单不需要校准数据缺点是激活值的量化精度不如静态量化。如果要更好的效果用静态量化from onnxruntime.quantization import quantize_static, CalibrationDataReader class DataReader(CalibrationDataReader): def __init__(self, data): self.data data self.iter iter(data) def get_next(self): return next(self.iter, None) reader DataReader(calibration_data) quantize_static( model_inputmodel.onnx, model_outputmodel_int8_static.onnx, calibration_data_readerreader, quant_formatQuantFormat.QDQ )QuantFormat.QDQ是 Quantize-DeQuantize 格式兼容性更好。静态量化的精度通常比动态量化高 1 到 2 个点但需要准备校准数据。4.3 剪枝的具体操作与参数计算剪枝我用的是基于权重范数的方法。先加载模型对每一层的权重计算 L2 范数然后按比例剪掉最小的那部分。import torch.nn.utils.prune as prune for name, module in model.named_modules(): if isinstance(module, torch.nn.Linear): prune.ln_structured( module, nameweight, amount0.2, n2, dim0 )amount0.2表示剪掉 20% 的通道dim0表示按输出通道剪。剪完之后要调用prune.remove把剪枝永久化否则每次前向传播都会重新计算掩码影响速度。for name, module in model.named_modules(): if isinstance(module, torch.nn.Linear): prune.remove(module, weight)剪枝比例的计算有个经验公式每层剪枝比例 全局目标比例 × 该层冗余度系数。冗余度系数可以根据该层权重的分布来定分布越集中方差小冗余度越高可以多剪一些。我一般让浅层少剪、深层多剪因为浅层提取的是基础特征剪多了影响大。4.4 蒸馏训练的关键代码蒸馏需要一个老师模型和一个学生模型。老师模型就是原始的大模型学生模型可以是剪枝后的模型也可以是一个独立设计的小模型。import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4, alpha0.3): soft_loss F.kl_div( F.log_softmax(student_logits / T, dim-1), F.softmax(teacher_logits / T, dim-1), reductionbatchmean ) * (T * T) hard_loss F.cross_entropy(student_logits, labels) return alpha * hard_loss (1 - alpha) * soft_loss注意soft_loss要乘以T * T这是因为温度缩放后梯度会变小乘上T²可以保持梯度量级一致。这个细节很多人会忽略导致蒸馏训练收敛很慢。训练时老师模型要设为 eval 模式并且不计算梯度teacher.eval() with torch.no_grad(): teacher_logits teacher(input_ids)学生模型正常训练优化器用 AdamW学习率比正常训练小一个量级我一般用 1e-5 到 5e-5。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么办这是最常见的问题。量化后精度掉个 1 到 2 个点算正常掉 5 个点以上就要排查了。我整理了一个排查顺序现象可能原因排查方法所有类别精度都掉校准数据分布不对检查校准集是否覆盖全类别某些类别精度暴跌该类别样本太少增加该类别的校准样本精度掉但推理速度没提升量化算子没被硬件支持检查推理后端的算子支持列表INT4 量化精度崩比特太低回退到 INT8 或混合精度我遇到过一次精度暴跌排查了半天发现是校准数据里混入了 padding 的 token导致 scale 估计偏了。后来把 padding 过滤掉就正常了。这个坑很隐蔽因为 padding 在训练时是正常的但量化校准时会干扰统计。提示校准前一定要把数据预处理做干净尤其是 padding、mask 这些辅助 token能过滤就过滤。5.2 剪枝后模型跑不起来剪枝后模型结构变了如果下游代码里硬编码了维度就会报错。比如原来某个 Linear 层是 768 维输出剪枝后变成 614 维后面的层如果还按 768 接收就会崩。解决办法是在剪枝时同步更新下游层的输入维度。用 PyTorch 的prune工具时它会自动处理依赖关系但如果你手动改结构就要自己维护维度一致性。我的建议是剪枝后先跑一遍前向传播确认没有维度错误再继续。另一个常见问题是剪枝后模型保存再加载时结构对不上。这是因为剪枝后的模型结构和原始结构不同加载时需要先重建剪枝后的结构。我一般会把剪枝后的模型直接导出成 ONNX避免 PyTorch 的 state_dict 加载问题。5.3 蒸馏训练不收敛蒸馏训练不收敛通常有三个原因。第一是温度 T 设得不对T 太大导致软标签太平滑学生模型学不到有效信息T 太小又接近硬标签蒸馏没意义。第二是 alpha 权重失衡hard_loss 和 soft_loss 量级差太多。第三是学习率太大学生模型在软标签上震荡。我的调试顺序是先把 alpha 设为 1.0只用 hard_loss确认学生模型能正常收敛然后逐步降低 alpha加入 soft_loss观察 loss 曲线最后调 T从 2 开始逐步加到 8找到精度最高的点。5.4 优化后推理速度没提升这个问题往往不是优化本身的问题而是推理后端的问题。量化后的模型如果推理引擎不支持 INT8 算子它会自动回退到 FP32 计算速度自然没提升。排查方法是看推理日志里有没有“fallback”或“unsupported operator”之类的提示。如果有要么换一个支持更好的推理引擎要么把不支持的算子单独拿出来用 FP32 跑。我一般会用 ONNX Runtime 的 profiling 工具看每个算子的耗时定位瓶颈在哪里。另一个容易被忽略的点是内存带宽。有些模型计算量不大但参数量大瓶颈在内存读取而不是计算。这种情况下量化能减少内存占用速度提升会很明显但如果瓶颈在计算量化对速度的帮助就有限。6. 我个人的实操心得与建议做模型优化这几年最大的体会是不要追求一步到位要小步快跑。我见过太多人一上来就想把模型量化到 INT4、剪枝 50%结果精度崩了回头重新调反而浪费时间。正确的做法是每次只动一个变量量化先做 INT8剪枝先剪 10%确认精度和速度都符合预期再往下压。另一个心得是精度和速度的权衡要提前和业务方对齐。有些业务场景对精度极其敏感掉 0.5 个点都不能接受那就只能牺牲速度有些场景精度掉 2 个点无所谓那就可以压得更狠。这个边界一定要在项目开始前就明确否则做到一半发现精度不达标返工成本很高。最后分享一个小技巧优化前先做一轮 baseline 测试记录原始模型的精度、延迟、内存占用。优化后的每一个版本都和 baseline 对比这样才能清楚地知道每一步优化带来了多少收益、多少损失。我一般会用一个表格记录每次实验的配置和结果方便回溯和对比。这个方向后续还可以往自动化搜索走比如用贝叶斯优化自动搜索最优的剪枝比例和量化配置减少人工调参的成本。不过那是另一个话题了有机会再展开聊。
