1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会把它和优化算法Optimizer比如 SGD、Adam搞混。我刚开始也犯过这个错误后来在几个实际项目里踩了坑才彻底理清优化算法是训练时更新权重的那套数学规则而 Model-Optimizer 是一整套围绕模型压缩、加速、部署的工程化工具链。它要解决的问题非常具体——你辛辛苦苦训出来的模型参数量动辄几个 G推理延迟高得没法上线上端显存占用让边缘设备直接跪这时候就需要 Model-Optimizer 出场了。说白了Model-Optimizer 的核心使命就三件事让模型更小、让推理更快、让精度掉得尽可能少。这三者之间是互相拉扯的压缩率越高精度往往越差速度越快可能意味着要牺牲一些数值稳定性。所以一个成熟的优化器工具本质上是在帮你在“模型大小-推理速度-精度”这个三角里找最优解。它适合谁来用我总结下来是三类人第一类是算法工程师模型训完了要交付得做量化、剪枝、蒸馏第二类是部署工程师要把模型塞进手机、嵌入式设备或者推理服务器关心的是延迟和吞吐第三类是想入门模型压缩的开发者需要一个上手快、文档全、能直接跑通全流程的工具。不管你是哪一类理解 Model-Optimizer 的工作机制和实操细节都能让你少走很多弯路。我在这篇文章里会结合自己实际用过的几套优化流程把 Model-Optimizer 的思路拆开讲透包括量化、剪枝、蒸馏、图优化这几大块每一块都会给出可复现的操作步骤和参数选择的理由。文章偏实操代码和配置都会给到你可以直接抄作业。2. 核心优化手段拆解与选型逻辑2.1 量化把 FP32 压成 INT8 的那点事量化是 Model-Optimizer 里最常用、收益最直接的手段。原理不复杂神经网络里的权重和激活值原本是 32 位浮点数占 4 个字节如果把它们映射到 8 位整数理论上模型体积直接缩小到原来的四分之一推理时整数运算也比浮点运算快得多。但量化不是简单地把小数截断成整数那样精度会崩。核心在于找到合适的缩放因子scale和零点zero point。公式是这样的real_value (int_value - zero_point) * scalescale 决定了量化后的分辨率zero_point 保证了浮点零能精确映射到某个整数上。这两个参数怎么定就是量化算法的核心差异所在。我实际用下来量化分两条路线训练后量化PTQ模型已经训好了拿一批校准数据跑一遍统计激活值的分布算出 scale 和 zero_point。优点是快不需要重新训练缺点是精度损失相对大尤其是激活值分布不均匀的模型。量化感知训练QAT在训练阶段就模拟量化的舍入误差让模型自己去适应。精度保持得好但需要重新训练成本高。选型建议很直接如果 PTQ 掉点在你可接受范围内一般分类任务掉 1% 以内算正常就别折腾 QAT。我做过一个图像分类的模型PTQ 之后 top-1 精度从 76.3% 掉到 75.1%完全能接受省了好几天的训练时间。但换到一个检测模型上PTQ 直接掉了 5 个点那就只能上 QAT 了。2.2 剪枝砍掉不重要的连接剪枝的思路更符合直觉神经网络里很多权重其实贡献很小把它们置零甚至直接删掉模型就变小了。剪枝分两种粒度非结构化剪枝逐个权重地砍想砍哪个砍哪个。压缩率高但产生的稀疏矩阵在通用硬件上跑不快需要专门的稀疏计算库支持。结构化剪枝按通道、按层、按注意力头来砍砍完还是规整的稠密矩阵硬件友好实际加速效果明显。我个人的经验是做部署优先选结构化剪枝。非结构化剪枝听起来很美稀疏度做到 90% 精度还不掉但你在普通 GPU 上跑一下就知道加速比远不如理论值因为硬件对稀疏矩阵的支持有限。结构化剪枝虽然压缩率没那么夸张但每一刀都砍在实处。剪枝的关键是判断哪些通道不重要。常见做法是看 BN 层的缩放因子 gammagamma 越小说明这个通道的输出越接近零贡献越小。按 gamma 排序砍掉最小的那批然后微调恢复精度。2.3 知识蒸馏让小模型学大模型蒸馏是另一条路不压缩原模型而是训练一个结构更小的小模型让它去模仿大模型的输出。大模型的 softmax 输出里包含了类别之间的相似性信息所谓的“暗知识”小模型学这个比直接学硬标签效果更好。蒸馏的损失函数一般是两部分加权loss alpha * CE(student_logits, hard_label) (1 - alpha) * KL(student_soft, teacher_soft)温度参数 T 控制 softmax 的平滑程度T 越大软标签里的暗知识越丰富。我一般从 T4 开始试alpha 取 0.3 到 0.7 之间。蒸馏适合的场景是你有一个精度很高但跑不动的大模型想换一个小模型上线。缺点是训练成本高而且小模型的结构设计需要经验不是随便搭一个就能学好。2.4 图优化算子融合与内存复用前面三种都是从模型本身下手图优化则是从计算图层面做文章。常见的操作包括算子融合把 Conv BN ReLU 这种连续操作合并成一个算子减少 kernel launch 开销和中间结果的读写。常量折叠把计算图里可以提前算出来的部分在编译期就算好。内存复用分析张量的生命周期让不重叠的张量共用一块内存降低峰值显存。图优化基本不需要你手动干预主流推理框架TensorRT、ONNX Runtime、TVM都会自动做。但你要知道它的存在因为有时候模型转换后精度有微小变化可能就是图优化里的数值近似导致的。3. 完整实操流程从原始模型到优化后部署3.1 环境准备与依赖安装我以 PyTorch 模型为例走一遍完整的优化流程。先装依赖pip install torch torchvision pip install onnx onnxruntime pip install neural-compressorneural-compressor是一套比较成熟的模型压缩工具支持量化、剪枝、蒸馏API 设计也比较友好。当然你也可以用 PyTorch 自带的torch.quantization但功能相对基础。装完之后验证一下import torch import neural_compressor print(torch.__version__) print(neural_compressor.__version__)注意版本兼容性是个大坑。PyTorch 和压缩工具的版本如果对不上量化时会报各种奇怪的错。我建议锁定版本比如 torch 2.0 neural-compressor 2.2这套组合我实测比较稳。3.2 训练后量化实操假设你已经有一个训好的模型model和一批校准数据calib_dataloaderPTQ 的代码大概长这样from neural_compressor.config import PostTrainingQuantConfig from neural_compressor.quantization import fit conf PostTrainingQuantConfig( approachstatic, calibration_sampling_size300, op_type_dict{ .*: { weight: {dtype: [int8], scheme: [sym]}, activation: {dtype: [uint8], scheme: [asym]} } } ) q_model fit( modelmodel, confconf, calib_dataloadercalib_dataloader, eval_funceval_func )几个关键参数解释一下approachstatic静态量化需要校准数据统计激活值分布。对应的还有dynamic只量化权重激活值运行时动态量化精度通常更好但速度提升有限。calibration_sampling_size300校准样本数量。太少统计不准太多浪费时间。我一般取 200 到 500 之间。schemesym和asym对称量化和非对称量化。权重的分布通常对称用 sym激活值经过 ReLU 后都是非负的用 asym 更合适。跑完之后用eval_func评估一下精度如果掉点超过阈值可以尝试调整op_type_dict把某些敏感层排除在量化之外op_type_dict{ .*: {weight: {dtype: [int8]}}, .*output.*: {weight: {dtype: [fp32]}} # 输出层保持浮点 }3.3 结构化剪枝实操剪枝的流程稍微复杂一点需要先分析再剪最后微调。以通道剪枝为例from neural_compressor.config import PruningConfig from neural_compressor.pruning import prune conf PruningConfig( pruning_typestructured, target_sparsity0.4, pruning_scopeglobal, criterionsnip ) pruned_model prune( modelmodel, confconf, eval_dataloadercalib_dataloader, eval_funceval_func )target_sparsity0.4表示砍掉 40% 的通道。这个值不要一上来就设太高我一般从 0.2 开始逐步往上加每次剪完都评估精度。criterionsnip是一种基于梯度的重要性评估方法比单纯看权重大小更准。剪完之后一定要微调通常跑个 10 到 20 个 epoch学习率设小一点比如原来的十分之一精度基本能恢复到剪枝前的 99% 左右。3.4 蒸馏实操蒸馏需要定义学生模型和教师模型然后写训练循环import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.5): soft_loss F.kl_div( F.log_softmax(student_logits / T, dim1), F.softmax(teacher_logits / T, dim1), reductionbatchmean ) * (T * T) hard_loss F.cross_entropy(student_logits, labels) return alpha * hard_loss (1 - alpha) * soft_loss训练时教师模型要设成eval()模式并且不计算梯度学生模型正常训练。温度 T 和权重 alpha 是需要调的我一般用网格搜索T 取 [2, 4, 8]alpha 取 [0.3, 0.5, 0.7]。3.5 导出与推理验证优化完的模型导出成 ONNX 或者直接保存torch.onnx.export( q_model, dummy_input, optimized_model.onnx, opset_version13, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}} )导出后用 ONNX Runtime 跑一遍对比一下输出和原模型的差异import onnxruntime as ort import numpy as np sess ort.InferenceSession(optimized_model.onnx) input_name sess.get_inputs()[0].name output sess.run(None, {input_name: dummy_input.numpy()})提示导出 ONNX 时 opset 版本要选对。opset 13 对量化算子的支持比较好太低的版本可能不支持某些量化操作太高的版本有些推理框架还没跟上。4. 常见问题与排查技巧实录4.1 量化后精度暴跌怎么办这是最常见的问题。排查思路按顺序来检查校准数据校准数据必须和实际推理数据的分布一致。我遇到过一次校准用的是训练集但实际推理的是另一种光照条件下的图片量化参数完全不对精度掉得惨不忍睹。换了一批有代表性的校准数据后精度立刻回来了。逐层排查敏感层用工具逐层量化看哪一层量化后误差最大。通常是第一层和最后一层比较敏感把这两层保持 FP32 往往能救回来不少。换量化方案静态量化不行就试动态量化对称不行就试非对称。有时候只是方案选错了。4.2 剪枝后模型跑不快结构化剪枝理论上应该加速但实际跑下来发现速度没变甚至更慢原因通常是剪枝后的模型没有重新编译很多推理框架会对模型做图优化剪枝改变了图结构需要重新走一遍优化流程。剪枝粒度不对如果剪的是很小的通道硬件并行度上不去加速效果就不明显。建议按 8 的倍数剪通道对齐硬件向量化宽度。瓶颈不在被剪的层如果模型的计算瓶颈在某个没被剪的层剪其他层对整体延迟没影响。用 profiler 看一下各层耗时占比找准瓶颈再剪。4.3 蒸馏学生模型学不好学生模型精度上不去常见原因和对策问题现象可能原因解决方向学生损失不下降学习率太大或太小用教师学习率的 1/2 到 1/10 试学生精度远低于教师学生容量太小换大一点的学生结构训练后期精度震荡温度 T 设置不当调大 T 让软标签更平滑过拟合训练集alpha 太大减小硬标签权重增大软标签权重4.4 实操避坑清单最后整理几条我踩过的坑都是文档里不会写的量化前先备份原始模型。量化过程不可逆一旦覆盖了原始权重想回退都回不去。校准数据不要用增强后的。随机裁剪、翻转这些增强操作会改变数据分布校准要用原始数据。剪枝和量化不要同时做。先剪枝微调恢复精度再量化顺序反了精度很难救。蒸馏的教师模型要固定。训练过程中教师模型不能更新否则学生学的是一个移动靶。优化后一定要做端到端测试。不要只看离线精度指标实际推理 pipeline 里可能还有预处理、后处理这些环节的数值差异也会影响最终效果。我在实际项目里最大的体会是Model-Optimizer 这套东西没有银弹每个模型都要单独调。同样一套量化配置在这个模型上掉 0.5 个点换个模型可能掉 5 个点。所以别指望找到一个万能参数老老实实做实验、记录每次配置和结果积累自己的经验库才是正道。另外优化之前先想清楚目标——是要极致压缩还是要保精度目标不同手段和参数的选择完全不一样。
Model-Optimizer 模型优化实战：量化、剪枝、蒸馏与图优化全流程
1. 模型优化器到底在优化什么第一次接触 Model-Optimizer 这个概念很多人会把它和优化算法Optimizer比如 SGD、Adam搞混。我刚开始也犯过这个错误后来在几个实际项目里踩了坑才彻底理清优化算法是训练时更新权重的那套数学规则而 Model-Optimizer 是一整套围绕模型压缩、加速、部署的工程化工具链。它要解决的问题非常具体——你辛辛苦苦训出来的模型参数量动辄几个 G推理延迟高得没法上线上端显存占用让边缘设备直接跪这时候就需要 Model-Optimizer 出场了。说白了Model-Optimizer 的核心使命就三件事让模型更小、让推理更快、让精度掉得尽可能少。这三者之间是互相拉扯的压缩率越高精度往往越差速度越快可能意味着要牺牲一些数值稳定性。所以一个成熟的优化器工具本质上是在帮你在“模型大小-推理速度-精度”这个三角里找最优解。它适合谁来用我总结下来是三类人第一类是算法工程师模型训完了要交付得做量化、剪枝、蒸馏第二类是部署工程师要把模型塞进手机、嵌入式设备或者推理服务器关心的是延迟和吞吐第三类是想入门模型压缩的开发者需要一个上手快、文档全、能直接跑通全流程的工具。不管你是哪一类理解 Model-Optimizer 的工作机制和实操细节都能让你少走很多弯路。我在这篇文章里会结合自己实际用过的几套优化流程把 Model-Optimizer 的思路拆开讲透包括量化、剪枝、蒸馏、图优化这几大块每一块都会给出可复现的操作步骤和参数选择的理由。文章偏实操代码和配置都会给到你可以直接抄作业。2. 核心优化手段拆解与选型逻辑2.1 量化把 FP32 压成 INT8 的那点事量化是 Model-Optimizer 里最常用、收益最直接的手段。原理不复杂神经网络里的权重和激活值原本是 32 位浮点数占 4 个字节如果把它们映射到 8 位整数理论上模型体积直接缩小到原来的四分之一推理时整数运算也比浮点运算快得多。但量化不是简单地把小数截断成整数那样精度会崩。核心在于找到合适的缩放因子scale和零点zero point。公式是这样的real_value (int_value - zero_point) * scalescale 决定了量化后的分辨率zero_point 保证了浮点零能精确映射到某个整数上。这两个参数怎么定就是量化算法的核心差异所在。我实际用下来量化分两条路线训练后量化PTQ模型已经训好了拿一批校准数据跑一遍统计激活值的分布算出 scale 和 zero_point。优点是快不需要重新训练缺点是精度损失相对大尤其是激活值分布不均匀的模型。量化感知训练QAT在训练阶段就模拟量化的舍入误差让模型自己去适应。精度保持得好但需要重新训练成本高。选型建议很直接如果 PTQ 掉点在你可接受范围内一般分类任务掉 1% 以内算正常就别折腾 QAT。我做过一个图像分类的模型PTQ 之后 top-1 精度从 76.3% 掉到 75.1%完全能接受省了好几天的训练时间。但换到一个检测模型上PTQ 直接掉了 5 个点那就只能上 QAT 了。2.2 剪枝砍掉不重要的连接剪枝的思路更符合直觉神经网络里很多权重其实贡献很小把它们置零甚至直接删掉模型就变小了。剪枝分两种粒度非结构化剪枝逐个权重地砍想砍哪个砍哪个。压缩率高但产生的稀疏矩阵在通用硬件上跑不快需要专门的稀疏计算库支持。结构化剪枝按通道、按层、按注意力头来砍砍完还是规整的稠密矩阵硬件友好实际加速效果明显。我个人的经验是做部署优先选结构化剪枝。非结构化剪枝听起来很美稀疏度做到 90% 精度还不掉但你在普通 GPU 上跑一下就知道加速比远不如理论值因为硬件对稀疏矩阵的支持有限。结构化剪枝虽然压缩率没那么夸张但每一刀都砍在实处。剪枝的关键是判断哪些通道不重要。常见做法是看 BN 层的缩放因子 gammagamma 越小说明这个通道的输出越接近零贡献越小。按 gamma 排序砍掉最小的那批然后微调恢复精度。2.3 知识蒸馏让小模型学大模型蒸馏是另一条路不压缩原模型而是训练一个结构更小的小模型让它去模仿大模型的输出。大模型的 softmax 输出里包含了类别之间的相似性信息所谓的“暗知识”小模型学这个比直接学硬标签效果更好。蒸馏的损失函数一般是两部分加权loss alpha * CE(student_logits, hard_label) (1 - alpha) * KL(student_soft, teacher_soft)温度参数 T 控制 softmax 的平滑程度T 越大软标签里的暗知识越丰富。我一般从 T4 开始试alpha 取 0.3 到 0.7 之间。蒸馏适合的场景是你有一个精度很高但跑不动的大模型想换一个小模型上线。缺点是训练成本高而且小模型的结构设计需要经验不是随便搭一个就能学好。2.4 图优化算子融合与内存复用前面三种都是从模型本身下手图优化则是从计算图层面做文章。常见的操作包括算子融合把 Conv BN ReLU 这种连续操作合并成一个算子减少 kernel launch 开销和中间结果的读写。常量折叠把计算图里可以提前算出来的部分在编译期就算好。内存复用分析张量的生命周期让不重叠的张量共用一块内存降低峰值显存。图优化基本不需要你手动干预主流推理框架TensorRT、ONNX Runtime、TVM都会自动做。但你要知道它的存在因为有时候模型转换后精度有微小变化可能就是图优化里的数值近似导致的。3. 完整实操流程从原始模型到优化后部署3.1 环境准备与依赖安装我以 PyTorch 模型为例走一遍完整的优化流程。先装依赖pip install torch torchvision pip install onnx onnxruntime pip install neural-compressorneural-compressor是一套比较成熟的模型压缩工具支持量化、剪枝、蒸馏API 设计也比较友好。当然你也可以用 PyTorch 自带的torch.quantization但功能相对基础。装完之后验证一下import torch import neural_compressor print(torch.__version__) print(neural_compressor.__version__)注意版本兼容性是个大坑。PyTorch 和压缩工具的版本如果对不上量化时会报各种奇怪的错。我建议锁定版本比如 torch 2.0 neural-compressor 2.2这套组合我实测比较稳。3.2 训练后量化实操假设你已经有一个训好的模型model和一批校准数据calib_dataloaderPTQ 的代码大概长这样from neural_compressor.config import PostTrainingQuantConfig from neural_compressor.quantization import fit conf PostTrainingQuantConfig( approachstatic, calibration_sampling_size300, op_type_dict{ .*: { weight: {dtype: [int8], scheme: [sym]}, activation: {dtype: [uint8], scheme: [asym]} } } ) q_model fit( modelmodel, confconf, calib_dataloadercalib_dataloader, eval_funceval_func )几个关键参数解释一下approachstatic静态量化需要校准数据统计激活值分布。对应的还有dynamic只量化权重激活值运行时动态量化精度通常更好但速度提升有限。calibration_sampling_size300校准样本数量。太少统计不准太多浪费时间。我一般取 200 到 500 之间。schemesym和asym对称量化和非对称量化。权重的分布通常对称用 sym激活值经过 ReLU 后都是非负的用 asym 更合适。跑完之后用eval_func评估一下精度如果掉点超过阈值可以尝试调整op_type_dict把某些敏感层排除在量化之外op_type_dict{ .*: {weight: {dtype: [int8]}}, .*output.*: {weight: {dtype: [fp32]}} # 输出层保持浮点 }3.3 结构化剪枝实操剪枝的流程稍微复杂一点需要先分析再剪最后微调。以通道剪枝为例from neural_compressor.config import PruningConfig from neural_compressor.pruning import prune conf PruningConfig( pruning_typestructured, target_sparsity0.4, pruning_scopeglobal, criterionsnip ) pruned_model prune( modelmodel, confconf, eval_dataloadercalib_dataloader, eval_funceval_func )target_sparsity0.4表示砍掉 40% 的通道。这个值不要一上来就设太高我一般从 0.2 开始逐步往上加每次剪完都评估精度。criterionsnip是一种基于梯度的重要性评估方法比单纯看权重大小更准。剪完之后一定要微调通常跑个 10 到 20 个 epoch学习率设小一点比如原来的十分之一精度基本能恢复到剪枝前的 99% 左右。3.4 蒸馏实操蒸馏需要定义学生模型和教师模型然后写训练循环import torch.nn.functional as F def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.5): soft_loss F.kl_div( F.log_softmax(student_logits / T, dim1), F.softmax(teacher_logits / T, dim1), reductionbatchmean ) * (T * T) hard_loss F.cross_entropy(student_logits, labels) return alpha * hard_loss (1 - alpha) * soft_loss训练时教师模型要设成eval()模式并且不计算梯度学生模型正常训练。温度 T 和权重 alpha 是需要调的我一般用网格搜索T 取 [2, 4, 8]alpha 取 [0.3, 0.5, 0.7]。3.5 导出与推理验证优化完的模型导出成 ONNX 或者直接保存torch.onnx.export( q_model, dummy_input, optimized_model.onnx, opset_version13, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}} )导出后用 ONNX Runtime 跑一遍对比一下输出和原模型的差异import onnxruntime as ort import numpy as np sess ort.InferenceSession(optimized_model.onnx) input_name sess.get_inputs()[0].name output sess.run(None, {input_name: dummy_input.numpy()})提示导出 ONNX 时 opset 版本要选对。opset 13 对量化算子的支持比较好太低的版本可能不支持某些量化操作太高的版本有些推理框架还没跟上。4. 常见问题与排查技巧实录4.1 量化后精度暴跌怎么办这是最常见的问题。排查思路按顺序来检查校准数据校准数据必须和实际推理数据的分布一致。我遇到过一次校准用的是训练集但实际推理的是另一种光照条件下的图片量化参数完全不对精度掉得惨不忍睹。换了一批有代表性的校准数据后精度立刻回来了。逐层排查敏感层用工具逐层量化看哪一层量化后误差最大。通常是第一层和最后一层比较敏感把这两层保持 FP32 往往能救回来不少。换量化方案静态量化不行就试动态量化对称不行就试非对称。有时候只是方案选错了。4.2 剪枝后模型跑不快结构化剪枝理论上应该加速但实际跑下来发现速度没变甚至更慢原因通常是剪枝后的模型没有重新编译很多推理框架会对模型做图优化剪枝改变了图结构需要重新走一遍优化流程。剪枝粒度不对如果剪的是很小的通道硬件并行度上不去加速效果就不明显。建议按 8 的倍数剪通道对齐硬件向量化宽度。瓶颈不在被剪的层如果模型的计算瓶颈在某个没被剪的层剪其他层对整体延迟没影响。用 profiler 看一下各层耗时占比找准瓶颈再剪。4.3 蒸馏学生模型学不好学生模型精度上不去常见原因和对策问题现象可能原因解决方向学生损失不下降学习率太大或太小用教师学习率的 1/2 到 1/10 试学生精度远低于教师学生容量太小换大一点的学生结构训练后期精度震荡温度 T 设置不当调大 T 让软标签更平滑过拟合训练集alpha 太大减小硬标签权重增大软标签权重4.4 实操避坑清单最后整理几条我踩过的坑都是文档里不会写的量化前先备份原始模型。量化过程不可逆一旦覆盖了原始权重想回退都回不去。校准数据不要用增强后的。随机裁剪、翻转这些增强操作会改变数据分布校准要用原始数据。剪枝和量化不要同时做。先剪枝微调恢复精度再量化顺序反了精度很难救。蒸馏的教师模型要固定。训练过程中教师模型不能更新否则学生学的是一个移动靶。优化后一定要做端到端测试。不要只看离线精度指标实际推理 pipeline 里可能还有预处理、后处理这些环节的数值差异也会影响最终效果。我在实际项目里最大的体会是Model-Optimizer 这套东西没有银弹每个模型都要单独调。同样一套量化配置在这个模型上掉 0.5 个点换个模型可能掉 5 个点。所以别指望找到一个万能参数老老实实做实验、记录每次配置和结果积累自己的经验库才是正道。另外优化之前先想清楚目标——是要极致压缩还是要保精度目标不同手段和参数的选择完全不一样。
