1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。我刚开始接触的时候也这么想后来踩了几次坑才发现这个理解太窄了。模型优化器本质上是一套贯穿训练、压缩、部署全链路的工程化方案它要解决的问题不是“让模型跑起来”而是“让模型在给定硬件上跑得足够快、足够省、足够稳”。说得再直白一点你训练了一个模型准确率不错但推理延迟高得离谱显存占用大得吓人部署到边缘设备上直接跑不动。这时候你需要的就是模型优化器。它做的事情包括但不限于量化、剪枝、蒸馏、算子融合、内存复用、计算图重写。每一项单独拿出来都能写一篇长文而把它们串起来形成流水线才是Model-Optimizer真正的价值所在。这篇文章适合谁看如果你正在做模型部署、推理加速、端侧落地或者你是一个刚入门的算法工程师想搞清楚从训练完到上线之间到底还差哪些步骤那这篇内容就是写给你的。我会从整体设计思路讲到具体实操把量化校准、剪枝策略、蒸馏温度选择这些关键环节的参数计算过程都拆开来讲最后再把我自己踩过的坑整理成排查表。全文没有花哨的概念堆砌都是能直接上手抄作业的东西。2. 整体设计思路与方案选型2.1 为什么不能只做单一优化很多人做模型优化的时候喜欢“单点突破”比如只做INT8量化或者只做通道剪枝。我早期也这么干过结果发现效果并不理想。原因很简单量化会引入精度损失剪枝会改变网络结构蒸馏需要重新训练这三者如果各自为战最后叠加在一起的时候误差会累积放大。Model-Optimizer的设计思路应该是“流水线式”的也就是说每一步优化都要考虑对后续步骤的影响。举个例子如果你先做剪枝再做量化剪枝后的模型通道数变了量化时的校准集分布也会变你需要重新校准。反过来如果你先量化再剪枝量化后的权重是定点数剪枝时判断通道重要性的准则就要调整。所以顺序很重要不能拍脑袋决定。我一般推荐的顺序是先做结构化剪枝再做量化感知训练最后做蒸馏微调。这个顺序的逻辑是剪枝改变结构量化改变数值表示蒸馏改变训练目标。结构变化放在最前面数值变化放在中间目标变化放在最后这样每一步的输入都是上一步稳定后的结果不会互相干扰。2.2 工具链选型为什么我最终选了这套组合市面上做模型优化的工具不少有偏研究向的有偏工程向的。我试过几种组合最后稳定下来的方案是剪枝用基于通道重要性的结构化方法量化用PTQ加QAT混合策略蒸馏用特征图加logits联合蒸馏。为什么这么选结构化剪枝的好处是剪完之后不需要特殊的稀疏计算库直接就能在通用推理引擎上跑。非结构化剪枝虽然压缩率更高但实际加速效果取决于硬件是否支持稀疏计算很多边缘设备根本不支持剪了等于白剪。量化方面PTQ速度快但精度损失大QAT精度好但需要重新训练所以我一般先用PTQ快速验证如果精度掉得太多再上QAT。蒸馏用特征图加logits联合是因为单纯用logits蒸馏学生模型学到的只是最终输出分布中间层的表示能力没学到联合蒸馏能让学生的中间特征也逼近教师泛化更好。这里有一个关键参数需要计算剪枝率。假设原始模型有N个通道你希望剪掉r的比例那么保留的通道数是N*(1-r)。但r不能随便设一般通过敏感度分析来确定。具体做法是对每一层分别设置不同的剪枝率观察精度变化找到精度下降不超过1%的最大剪枝率。我通常从0.1开始试每次增加0.1直到精度掉超过阈值为止。2.3 精度与速度的平衡点怎么找模型优化的核心矛盾永远是精度和速度的权衡。你压缩得越狠速度越快但精度掉得也越多。怎么找平衡点我的经验是看业务容忍度。如果是推荐系统精度掉1%可能影响不大如果是医疗影像掉0.1%都不能接受。具体操作上我会画一条曲线横轴是推理延迟纵轴是精度。然后在这个曲线上找拐点也就是精度下降开始加速的那个点。这个点通常对应一个特定的压缩率比如量化到INT8、剪枝率0.3、蒸馏温度4.0。找到这个点之后再根据实际硬件做微调。比如你的设备内存特别紧张那就牺牲一点精度换内存如果算力充足但带宽不够那就优先做量化减少数据传输量。3. 核心细节解析与实操要点3.1 量化校准校准集怎么选、怎么用量化是模型优化里最容易出效果但也最容易翻车的一步。PTQ量化的核心是校准校准的核心是校准集。很多人随便拿几百张训练集图片就跑校准结果量化后精度暴跌。为什么因为校准集的分布必须和实际推理时的输入分布一致。我一般会从验证集里随机采样500到1000个样本作为校准集确保覆盖所有类别。如果验证集分布和实际场景差异大那就从实际场景里采。校准的时候要注意不要用数据增强后的样本因为增强会改变数值分布导致校准参数偏移。校准算法本身也有讲究。最常用的是最小化KL散度也就是让量化后的分布和原始分布尽可能接近。具体计算过程是对每一层的激活值统计其直方图然后找一个阈值T使得量化后的分布和原始分布的KL散度最小。这个T就是量化的截断阈值超过T的值会被截断到T。实际操作中TensorRT和ONNX Runtime都内置了KL校准你只需要把校准集传进去就行。注意校准集不要太小少于100个样本统计不充分也不要太大超过2000个样本收益递减还浪费时间。500到1000是比较稳妥的范围。3.2 剪枝策略结构化剪枝的通道选择准则结构化剪枝的关键是判断哪些通道重要、哪些不重要。常用的准则有L1范数、L2范数、BN层缩放因子、泰勒展开等。我实测下来BN层缩放因子加L2范数的组合最稳。为什么因为BN层的缩放因子直接反映了该通道对最终输出的贡献缩放因子越小说明该通道越不重要。L2范数则衡量权重的整体大小两者结合能避免单一准则的偏差。具体操作步骤先对每一层的BN层缩放因子取绝对值然后乘以该层权重的L2范数得到每个通道的重要性分数。然后对所有通道按分数排序剪掉分数最低的r比例。剪完之后BN层的缩放因子和卷积层的权重都要同步更新否则推理时会出错。这里有一个细节剪枝后模型的精度通常会掉需要微调。微调的学习率要设小一点一般是原始训练学习率的十分之一训练轮数也不用太多10到20个epoch就够了。因为剪枝后的模型已经接近收敛只需要微调恢复精度。3.3 蒸馏温度与损失权重参数怎么定蒸馏的核心是温度参数T和损失权重α。温度T控制软标签的平滑程度T越大软标签越平滑学生模型学到的信息越丰富但太大会导致信息模糊。我一般从T4开始试如果学生模型欠拟合就增大T过拟合就减小T。损失权重α控制蒸馏损失和原始交叉熵损失的比例α越大学生越依赖教师α越小学生越依赖真实标签。我通常设α0.7也就是蒸馏损失占70%交叉熵占30%。联合蒸馏的时候特征图蒸馏和logits蒸馏的权重也要调。特征图蒸馏让学生的中间层逼近教师logits蒸馏让学生的输出逼近教师。我一般设特征图蒸馏权重为0.5logits蒸馏权重为0.5两者对等。但如果学生和教师的中间层维度不匹配需要加一个投影层把维度对齐这个投影层也要参与训练。4. 实操过程与核心环节实现4.1 环境准备与依赖安装我用的环境是Python 3.9PyTorch 2.0CUDA 11.8。为什么选这个组合因为PyTorch 2.0的编译模式对推理加速有明显提升CUDA 11.8对INT8量化的支持也比较完善。依赖库方面需要安装onnx、onnxruntime、tensorrt、torch-pruning。安装命令如下pip install torch2.0.0 torchvision0.15.0 pip install onnx1.14.0 onnxruntime-gpu1.15.0 pip install tensorrt8.6.0 pip install torch-pruning1.3.0安装完之后先跑一个简单的模型验证环境是否正常。我一般用ResNet18做测试加载预训练权重跑一次推理看输出是否正常。如果报错大概率是CUDA版本不匹配或者TensorRT的路径没配好。4.2 剪枝实操从敏感度分析到微调第一步是敏感度分析。对每一层分别设置剪枝率0.1、0.2、0.3、0.4、0.5观察精度变化。具体代码逻辑是加载模型对指定层执行剪枝然后在验证集上评估精度。记录每一层在不同剪枝率下的精度找到精度下降不超过1%的最大剪枝率。import torch import torch_pruning as tp model torch.load(resnet18.pth) example_inputs torch.randn(1, 3, 224, 224) imp tp.importance.BNScaleImportance() pruner tp.pruner.MagnitudePruner( model, example_inputs, importanceimp, pruning_ratio0.3, global_pruningFalse ) pruner.step()剪枝完之后用验证集评估精度。如果精度掉得太多就降低剪枝率重新剪。微调的时候学习率设0.001优化器用SGD动量0.9训练15个epoch。微调过程中要监控验证集精度如果连续3个epoch不提升就提前停止。4.3 量化实操PTQ到QAT的完整流程PTQ量化的第一步是导出ONNX模型。导出的时候要注意把模型的动态轴设好否则量化时会报错。导出命令如下torch.onnx.export( model, example_inputs, model.onnx, opset_version13, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )然后用量化工具对ONNX模型做校准。我一般用ONNX Runtime的量化工具校准集传500张验证集图片。校准完之后用测试集评估量化模型的精度。如果精度掉超过2%就上QAT。QAT需要在训练代码里插入伪量化节点然后重新训练几个epoch。伪量化节点的作用是模拟量化误差让模型在训练时就适应这种误差。提示QAT训练时学习率要比正常训练小一个数量级因为模型已经接近收敛只需要微调适应量化误差。4.4 蒸馏实操教师学生模型的联合训练蒸馏的第一步是确定教师模型和学生模型。教师模型用原始的大模型学生模型用剪枝量化后的小模型。然后定义损失函数def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): soft_loss torch.nn.KLDivLoss(reductionbatchmean)( torch.nn.functional.log_softmax(student_logits / T, dim1), torch.nn.functional.softmax(teacher_logits / T, dim1) ) * (T * T) hard_loss torch.nn.functional.cross_entropy(student_logits, labels) return alpha * soft_loss (1 - alpha) * hard_loss训练的时候教师模型冻结参数学生模型正常更新。每个batch同时计算软损失和硬损失然后反向传播。训练轮数一般设20到30个epoch学习率设0.0005。训练完之后在测试集上评估学生模型的精度如果接近教师模型说明蒸馏成功。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么办这是最常见的问题。原因通常有三个校准集分布不对、量化粒度太粗、模型对量化太敏感。排查顺序是先检查校准集确保和实际输入分布一致然后检查量化粒度把per-tensor量化改成per-channel量化如果还不行就上QAT。我遇到过最极端的情况是模型里有大量小数值的激活INT8量化直接把这些值截断成0导致精度崩盘。解决办法是调整量化的截断阈值或者对这些层单独用FP16。5.2 剪枝后模型推理报错剪枝后推理报错大概率是通道数不匹配。剪枝的时候卷积层的输出通道和下一层的输入通道必须同步剪否则维度对不上。另外BN层的参数也要同步更新否则推理时会用到被剪掉的通道的统计量。排查方法是打印每一层的输入输出维度找到不匹配的那一层手动修正。5.3 蒸馏训练不收敛蒸馏不收敛的原因通常是温度T或权重α设得不对。T太大软标签太平滑学生学不到有效信息T太小软标签太尖锐和硬标签差不多蒸馏没意义。α太大学生过度依赖教师忽略了真实标签α太小蒸馏效果不明显。我一般先用T4、α0.7跑一遍如果loss震荡就调小T如果精度不提升就调大α。5.4 常见问题速查表问题现象可能原因排查方法解决方案量化后精度掉超过5%校准集分布不对对比校准集和测试集分布重新采样校准集剪枝后推理报错通道数不匹配打印每层输入输出维度同步剪枝卷积和BN蒸馏loss不下降温度T设得太大观察软标签的熵减小T到2或3微调后精度不恢复学习率太大观察训练loss曲线降低学习率到0.0001量化模型推理速度没提升硬件不支持INT8检查设备算力换支持INT8的设备5.5 我踩过的三个坑第一个坑剪枝的时候只剪了卷积层忘了剪BN层结果推理时BN层的统计量还是旧的精度直接崩了。后来我学乖了剪枝脚本里强制同步更新BN层。第二个坑量化校准的时候用了数据增强后的图片导致校准参数偏移量化后精度掉了8%。后来我改用原始验证集图片精度只掉了1.5%。第三个坑蒸馏的时候教师模型没冻结结果教师也被训练了学生学到的教师一直在变训练完全不收敛。后来我在训练循环里加了teacher.eval()和torch.no_grad()问题解决。6. 优化效果的评估与迭代6.1 怎么量化评估优化效果评估模型优化效果不能只看精度还要看推理延迟、内存占用、模型大小。我一般用四个指标Top-1精度、单张推理延迟、峰值显存占用、模型文件大小。评估的时候要在同一硬件、同一batch size下对比否则数据没意义。具体操作用ONNX Runtime或TensorRT跑推理记录1000次推理的平均延迟。显存占用用torch.cuda.max_memory_allocated()统计。模型大小直接看文件字节数。然后画一个雷达图把四个指标归一化后对比优化前后的差异。6.2 迭代优化的策略模型优化不是一次性的而是一个迭代过程。第一轮优化后如果精度达标但速度不够就加大剪枝率或量化粒度如果速度达标但精度不够就减小剪枝率或上QAT。每一轮迭代都要重新评估找到新的平衡点。我一般会做三轮迭代第一轮快速验证用PTQ加轻度剪枝看效果第二轮精细调优用QAT加中度剪枝找平衡点第三轮极致压缩用联合蒸馏加重度剪枝看极限在哪里。三轮下来基本能找到适合业务需求的最优方案。6.3 实际案例ResNet18在边缘设备上的优化记录我拿ResNet18做了一个完整测试。原始模型精度70.2%推理延迟12ms显存占用1.2GB模型大小45MB。第一轮PTQ量化后精度69.8%延迟6ms显存0.6GB大小12MB。第二轮加剪枝率0.3精度68.5%延迟4ms显存0.4GB大小8MB。第三轮加蒸馏微调精度恢复到69.6%延迟4ms显存0.4GB大小8MB。最终方案在精度只掉0.6%的情况下延迟降低67%显存降低67%模型大小降低82%。这个案例说明模型优化器的价值不在于单点极致而在于整体平衡。你不需要追求精度不掉也不需要追求速度翻倍而是找到业务能接受的那个点。对我来说精度掉1%以内、速度提升50%以上、显存降低50%以上就是一个成功的优化。最后再分享一个小技巧优化过程中一定要保存每一个中间模型包括剪枝后的、量化后的、蒸馏后的。因为不同硬件对模型的兼容性不一样有时候量化模型在A设备上跑得好在B设备上就报错这时候你可以回退到剪枝后的版本。多留一手总没错。
模型优化器全链路实战：剪枝、量化与蒸馏的工程化方案
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它就是一个调参工具或者是一个自动搜超参的脚本。我刚开始接触的时候也这么想后来踩了几次坑才发现这个理解太窄了。模型优化器本质上是一套贯穿训练、压缩、部署全链路的工程化方案它要解决的问题不是“让模型跑起来”而是“让模型在给定硬件上跑得足够快、足够省、足够稳”。说得再直白一点你训练了一个模型准确率不错但推理延迟高得离谱显存占用大得吓人部署到边缘设备上直接跑不动。这时候你需要的就是模型优化器。它做的事情包括但不限于量化、剪枝、蒸馏、算子融合、内存复用、计算图重写。每一项单独拿出来都能写一篇长文而把它们串起来形成流水线才是Model-Optimizer真正的价值所在。这篇文章适合谁看如果你正在做模型部署、推理加速、端侧落地或者你是一个刚入门的算法工程师想搞清楚从训练完到上线之间到底还差哪些步骤那这篇内容就是写给你的。我会从整体设计思路讲到具体实操把量化校准、剪枝策略、蒸馏温度选择这些关键环节的参数计算过程都拆开来讲最后再把我自己踩过的坑整理成排查表。全文没有花哨的概念堆砌都是能直接上手抄作业的东西。2. 整体设计思路与方案选型2.1 为什么不能只做单一优化很多人做模型优化的时候喜欢“单点突破”比如只做INT8量化或者只做通道剪枝。我早期也这么干过结果发现效果并不理想。原因很简单量化会引入精度损失剪枝会改变网络结构蒸馏需要重新训练这三者如果各自为战最后叠加在一起的时候误差会累积放大。Model-Optimizer的设计思路应该是“流水线式”的也就是说每一步优化都要考虑对后续步骤的影响。举个例子如果你先做剪枝再做量化剪枝后的模型通道数变了量化时的校准集分布也会变你需要重新校准。反过来如果你先量化再剪枝量化后的权重是定点数剪枝时判断通道重要性的准则就要调整。所以顺序很重要不能拍脑袋决定。我一般推荐的顺序是先做结构化剪枝再做量化感知训练最后做蒸馏微调。这个顺序的逻辑是剪枝改变结构量化改变数值表示蒸馏改变训练目标。结构变化放在最前面数值变化放在中间目标变化放在最后这样每一步的输入都是上一步稳定后的结果不会互相干扰。2.2 工具链选型为什么我最终选了这套组合市面上做模型优化的工具不少有偏研究向的有偏工程向的。我试过几种组合最后稳定下来的方案是剪枝用基于通道重要性的结构化方法量化用PTQ加QAT混合策略蒸馏用特征图加logits联合蒸馏。为什么这么选结构化剪枝的好处是剪完之后不需要特殊的稀疏计算库直接就能在通用推理引擎上跑。非结构化剪枝虽然压缩率更高但实际加速效果取决于硬件是否支持稀疏计算很多边缘设备根本不支持剪了等于白剪。量化方面PTQ速度快但精度损失大QAT精度好但需要重新训练所以我一般先用PTQ快速验证如果精度掉得太多再上QAT。蒸馏用特征图加logits联合是因为单纯用logits蒸馏学生模型学到的只是最终输出分布中间层的表示能力没学到联合蒸馏能让学生的中间特征也逼近教师泛化更好。这里有一个关键参数需要计算剪枝率。假设原始模型有N个通道你希望剪掉r的比例那么保留的通道数是N*(1-r)。但r不能随便设一般通过敏感度分析来确定。具体做法是对每一层分别设置不同的剪枝率观察精度变化找到精度下降不超过1%的最大剪枝率。我通常从0.1开始试每次增加0.1直到精度掉超过阈值为止。2.3 精度与速度的平衡点怎么找模型优化的核心矛盾永远是精度和速度的权衡。你压缩得越狠速度越快但精度掉得也越多。怎么找平衡点我的经验是看业务容忍度。如果是推荐系统精度掉1%可能影响不大如果是医疗影像掉0.1%都不能接受。具体操作上我会画一条曲线横轴是推理延迟纵轴是精度。然后在这个曲线上找拐点也就是精度下降开始加速的那个点。这个点通常对应一个特定的压缩率比如量化到INT8、剪枝率0.3、蒸馏温度4.0。找到这个点之后再根据实际硬件做微调。比如你的设备内存特别紧张那就牺牲一点精度换内存如果算力充足但带宽不够那就优先做量化减少数据传输量。3. 核心细节解析与实操要点3.1 量化校准校准集怎么选、怎么用量化是模型优化里最容易出效果但也最容易翻车的一步。PTQ量化的核心是校准校准的核心是校准集。很多人随便拿几百张训练集图片就跑校准结果量化后精度暴跌。为什么因为校准集的分布必须和实际推理时的输入分布一致。我一般会从验证集里随机采样500到1000个样本作为校准集确保覆盖所有类别。如果验证集分布和实际场景差异大那就从实际场景里采。校准的时候要注意不要用数据增强后的样本因为增强会改变数值分布导致校准参数偏移。校准算法本身也有讲究。最常用的是最小化KL散度也就是让量化后的分布和原始分布尽可能接近。具体计算过程是对每一层的激活值统计其直方图然后找一个阈值T使得量化后的分布和原始分布的KL散度最小。这个T就是量化的截断阈值超过T的值会被截断到T。实际操作中TensorRT和ONNX Runtime都内置了KL校准你只需要把校准集传进去就行。注意校准集不要太小少于100个样本统计不充分也不要太大超过2000个样本收益递减还浪费时间。500到1000是比较稳妥的范围。3.2 剪枝策略结构化剪枝的通道选择准则结构化剪枝的关键是判断哪些通道重要、哪些不重要。常用的准则有L1范数、L2范数、BN层缩放因子、泰勒展开等。我实测下来BN层缩放因子加L2范数的组合最稳。为什么因为BN层的缩放因子直接反映了该通道对最终输出的贡献缩放因子越小说明该通道越不重要。L2范数则衡量权重的整体大小两者结合能避免单一准则的偏差。具体操作步骤先对每一层的BN层缩放因子取绝对值然后乘以该层权重的L2范数得到每个通道的重要性分数。然后对所有通道按分数排序剪掉分数最低的r比例。剪完之后BN层的缩放因子和卷积层的权重都要同步更新否则推理时会出错。这里有一个细节剪枝后模型的精度通常会掉需要微调。微调的学习率要设小一点一般是原始训练学习率的十分之一训练轮数也不用太多10到20个epoch就够了。因为剪枝后的模型已经接近收敛只需要微调恢复精度。3.3 蒸馏温度与损失权重参数怎么定蒸馏的核心是温度参数T和损失权重α。温度T控制软标签的平滑程度T越大软标签越平滑学生模型学到的信息越丰富但太大会导致信息模糊。我一般从T4开始试如果学生模型欠拟合就增大T过拟合就减小T。损失权重α控制蒸馏损失和原始交叉熵损失的比例α越大学生越依赖教师α越小学生越依赖真实标签。我通常设α0.7也就是蒸馏损失占70%交叉熵占30%。联合蒸馏的时候特征图蒸馏和logits蒸馏的权重也要调。特征图蒸馏让学生的中间层逼近教师logits蒸馏让学生的输出逼近教师。我一般设特征图蒸馏权重为0.5logits蒸馏权重为0.5两者对等。但如果学生和教师的中间层维度不匹配需要加一个投影层把维度对齐这个投影层也要参与训练。4. 实操过程与核心环节实现4.1 环境准备与依赖安装我用的环境是Python 3.9PyTorch 2.0CUDA 11.8。为什么选这个组合因为PyTorch 2.0的编译模式对推理加速有明显提升CUDA 11.8对INT8量化的支持也比较完善。依赖库方面需要安装onnx、onnxruntime、tensorrt、torch-pruning。安装命令如下pip install torch2.0.0 torchvision0.15.0 pip install onnx1.14.0 onnxruntime-gpu1.15.0 pip install tensorrt8.6.0 pip install torch-pruning1.3.0安装完之后先跑一个简单的模型验证环境是否正常。我一般用ResNet18做测试加载预训练权重跑一次推理看输出是否正常。如果报错大概率是CUDA版本不匹配或者TensorRT的路径没配好。4.2 剪枝实操从敏感度分析到微调第一步是敏感度分析。对每一层分别设置剪枝率0.1、0.2、0.3、0.4、0.5观察精度变化。具体代码逻辑是加载模型对指定层执行剪枝然后在验证集上评估精度。记录每一层在不同剪枝率下的精度找到精度下降不超过1%的最大剪枝率。import torch import torch_pruning as tp model torch.load(resnet18.pth) example_inputs torch.randn(1, 3, 224, 224) imp tp.importance.BNScaleImportance() pruner tp.pruner.MagnitudePruner( model, example_inputs, importanceimp, pruning_ratio0.3, global_pruningFalse ) pruner.step()剪枝完之后用验证集评估精度。如果精度掉得太多就降低剪枝率重新剪。微调的时候学习率设0.001优化器用SGD动量0.9训练15个epoch。微调过程中要监控验证集精度如果连续3个epoch不提升就提前停止。4.3 量化实操PTQ到QAT的完整流程PTQ量化的第一步是导出ONNX模型。导出的时候要注意把模型的动态轴设好否则量化时会报错。导出命令如下torch.onnx.export( model, example_inputs, model.onnx, opset_version13, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )然后用量化工具对ONNX模型做校准。我一般用ONNX Runtime的量化工具校准集传500张验证集图片。校准完之后用测试集评估量化模型的精度。如果精度掉超过2%就上QAT。QAT需要在训练代码里插入伪量化节点然后重新训练几个epoch。伪量化节点的作用是模拟量化误差让模型在训练时就适应这种误差。提示QAT训练时学习率要比正常训练小一个数量级因为模型已经接近收敛只需要微调适应量化误差。4.4 蒸馏实操教师学生模型的联合训练蒸馏的第一步是确定教师模型和学生模型。教师模型用原始的大模型学生模型用剪枝量化后的小模型。然后定义损失函数def distillation_loss(student_logits, teacher_logits, labels, T4.0, alpha0.7): soft_loss torch.nn.KLDivLoss(reductionbatchmean)( torch.nn.functional.log_softmax(student_logits / T, dim1), torch.nn.functional.softmax(teacher_logits / T, dim1) ) * (T * T) hard_loss torch.nn.functional.cross_entropy(student_logits, labels) return alpha * soft_loss (1 - alpha) * hard_loss训练的时候教师模型冻结参数学生模型正常更新。每个batch同时计算软损失和硬损失然后反向传播。训练轮数一般设20到30个epoch学习率设0.0005。训练完之后在测试集上评估学生模型的精度如果接近教师模型说明蒸馏成功。5. 常见问题与排查技巧实录5.1 量化后精度暴跌怎么办这是最常见的问题。原因通常有三个校准集分布不对、量化粒度太粗、模型对量化太敏感。排查顺序是先检查校准集确保和实际输入分布一致然后检查量化粒度把per-tensor量化改成per-channel量化如果还不行就上QAT。我遇到过最极端的情况是模型里有大量小数值的激活INT8量化直接把这些值截断成0导致精度崩盘。解决办法是调整量化的截断阈值或者对这些层单独用FP16。5.2 剪枝后模型推理报错剪枝后推理报错大概率是通道数不匹配。剪枝的时候卷积层的输出通道和下一层的输入通道必须同步剪否则维度对不上。另外BN层的参数也要同步更新否则推理时会用到被剪掉的通道的统计量。排查方法是打印每一层的输入输出维度找到不匹配的那一层手动修正。5.3 蒸馏训练不收敛蒸馏不收敛的原因通常是温度T或权重α设得不对。T太大软标签太平滑学生学不到有效信息T太小软标签太尖锐和硬标签差不多蒸馏没意义。α太大学生过度依赖教师忽略了真实标签α太小蒸馏效果不明显。我一般先用T4、α0.7跑一遍如果loss震荡就调小T如果精度不提升就调大α。5.4 常见问题速查表问题现象可能原因排查方法解决方案量化后精度掉超过5%校准集分布不对对比校准集和测试集分布重新采样校准集剪枝后推理报错通道数不匹配打印每层输入输出维度同步剪枝卷积和BN蒸馏loss不下降温度T设得太大观察软标签的熵减小T到2或3微调后精度不恢复学习率太大观察训练loss曲线降低学习率到0.0001量化模型推理速度没提升硬件不支持INT8检查设备算力换支持INT8的设备5.5 我踩过的三个坑第一个坑剪枝的时候只剪了卷积层忘了剪BN层结果推理时BN层的统计量还是旧的精度直接崩了。后来我学乖了剪枝脚本里强制同步更新BN层。第二个坑量化校准的时候用了数据增强后的图片导致校准参数偏移量化后精度掉了8%。后来我改用原始验证集图片精度只掉了1.5%。第三个坑蒸馏的时候教师模型没冻结结果教师也被训练了学生学到的教师一直在变训练完全不收敛。后来我在训练循环里加了teacher.eval()和torch.no_grad()问题解决。6. 优化效果的评估与迭代6.1 怎么量化评估优化效果评估模型优化效果不能只看精度还要看推理延迟、内存占用、模型大小。我一般用四个指标Top-1精度、单张推理延迟、峰值显存占用、模型文件大小。评估的时候要在同一硬件、同一batch size下对比否则数据没意义。具体操作用ONNX Runtime或TensorRT跑推理记录1000次推理的平均延迟。显存占用用torch.cuda.max_memory_allocated()统计。模型大小直接看文件字节数。然后画一个雷达图把四个指标归一化后对比优化前后的差异。6.2 迭代优化的策略模型优化不是一次性的而是一个迭代过程。第一轮优化后如果精度达标但速度不够就加大剪枝率或量化粒度如果速度达标但精度不够就减小剪枝率或上QAT。每一轮迭代都要重新评估找到新的平衡点。我一般会做三轮迭代第一轮快速验证用PTQ加轻度剪枝看效果第二轮精细调优用QAT加中度剪枝找平衡点第三轮极致压缩用联合蒸馏加重度剪枝看极限在哪里。三轮下来基本能找到适合业务需求的最优方案。6.3 实际案例ResNet18在边缘设备上的优化记录我拿ResNet18做了一个完整测试。原始模型精度70.2%推理延迟12ms显存占用1.2GB模型大小45MB。第一轮PTQ量化后精度69.8%延迟6ms显存0.6GB大小12MB。第二轮加剪枝率0.3精度68.5%延迟4ms显存0.4GB大小8MB。第三轮加蒸馏微调精度恢复到69.6%延迟4ms显存0.4GB大小8MB。最终方案在精度只掉0.6%的情况下延迟降低67%显存降低67%模型大小降低82%。这个案例说明模型优化器的价值不在于单点极致而在于整体平衡。你不需要追求精度不掉也不需要追求速度翻倍而是找到业务能接受的那个点。对我来说精度掉1%以内、速度提升50%以上、显存降低50%以上就是一个成功的优化。最后再分享一个小技巧优化过程中一定要保存每一个中间模型包括剪枝后的、量化后的、蒸馏后的。因为不同硬件对模型的兼容性不一样有时候量化模型在A设备上跑得好在B设备上就报错这时候你可以回退到剪枝后的版本。多留一手总没错。
