简介这份图像分类实战包以EfficientNet为核心基于Pytorch实现面向希望快速上手图像分类项目的学习者。资源共8个文件包含5个Python脚本、2个编译缓存pyc文件以及1个已训练好的模型权重文件压缩包整体大小38.27MB。脚本覆盖数据集加载、模型训练与测试等完整流程可直接参考或改写用于自定义数据集随附的model.pth为预训练结果加载后即可进行推理验证降低从零训练的时间和硬件成本。目录结构简洁数据、代码、权重分层放置便于按需调用。目前已有1205人学习下载适合具备一定Python基础、正在入门图像分类或需要快速搭建EfficientNet基线方案的开发者。1. 图像分类任务里EfficientNet 为什么值得再拿出来跑一遍很多做图像分类的团队习惯从 ResNet50 起步评测集上刷到 95% 就收工等部署时才发现显存、时延和成本全翻车。EfficientNet 是对这个问题较真的产物用神经架构搜索确定基础结构再用“复合缩放”把深度、宽度、分辨率绑在一起放大让精度和计算量始终待在同一条性价比曲线上。B0 只有大约 5.3M 参数ImageNet top-1 约 77%FLOPs 不到 ResNet50 的十分之一。花鸟分类、森林图像分类、商品图这类中小规模数据集拿它当主干往往比堆 transformer 图像分类模型更早收敛、更好部署。把它当成一个解压即用的实战包数据管线、训练脚本、推理 checkpoint 依次打通下面按这条路径把每一步涉及的选择和坑都过一遍。2. EfficientNet 网络结构拆解MBConv、SE 注意力与复合缩放2.1 为什么 NAS 搜出来的 MBConv 比普通卷积更适合图像分类EfficientNet 的基础模块叫 MBConv继承自 MobileNetV2 的倒残差结构。普通残差块是先降维再卷积再升维倒残差反过来先用 1×1 卷积把通道数扩上去经过深度可分离卷积再用 1×1 卷积压回低维。这么设计的原因是让空间特征在高维通道空间中提取而跨层恒等映射只保留低维信息计算量大幅下降。EfficientNet 在 MBConv 内部额外加了 SE 模块Squeeze-and-Excitation先用全局平均池化把每个通道压成标量再经过两个全连接层生成一组通道权重把“哪些通道该被放大”显式地学出来。这一层轻量注意力对图像分类的提升很直接——花和背景同时出现在画面里时SE 会抑制背景通道的响应。实现层面的固定参数值得记住expansion ratio 是 6即 1×1 卷积先把通道放大 6 倍再进入深度可分离卷积SE 的中间层又缩回输入通道的 1/4。实际工程里不需要手写这些算子torchvision 和 timm 都封装好了。但理解结构对排错有意义训练时显存不够优先砍的往往不是输入分辨率而是 batch size因为深度可分离卷积的显存大头在激活值不在参数量。2.2 复合缩放为什么只堆深度或只堆分辨率都吃亏如果沿用 ResNet 时代的思路单方面加深到 200 层或者把输入图放大到 512精度会涨但 FLOPs 涨得更快边际收益快速下降。EfficientNet 论文给出的约束是同时缩放三个维度深度 d α 的 φ 次方宽度 w β 的 φ 次方分辨率 r γ 的 φ 次方并约束 α·β²·γ² ≈ 2。这个约束的含义是每增加一单位计算量三个维度按固定比例关系一起提升而不是单独往一个方向硬拉。网格搜索给出的基线系数是 α1.2、β1.1、γ1.15B1 到 B7 就是不断放大 φ 的增量配置。这三个系数直接决定了“用什么代价换什么精度”。图像分类里有一种常见误用想提高准确率于是单独把分辨率从 224 提到 384结果模糊小目标的识别没改善训练时间反而长了近 3 倍。正确做法是换成官方给好的下一档版本比如从 B0 换到 B2或者直接用 efficientnet_b4 配合 380 分辨率让宽度、深度、分辨率按比例走而不是拆开单独调。2.3 EfficientNet 家族选型一张表确定用哪个版本在动手之前把版本选对的成本最低。下表是常见公有预训练权重的近似数值不同框架的预训练细节有差异按“约”来看版本输入分辨率宽度系数深度系数参数量约ImageNet top-1约B02241.01.05.3M77.1%B12401.01.17.8M79.1%B22601.11.29.2M80.1%B43801.41.819M82.9%这个表主要看两列输入分辨率对应数据里目标物体的尺寸占比参数量对应显卡和边缘设备预算。B4 以上的版本在 ImageNet 上还能再涨一点但参数量过了 30M对多数业务场景收益已经很薄。我一般先拿 B0 做 baseline 确认数据管线没有 bug验证集指标能正常上升再直接切 B4 做正式训练——跳过 B1、B2、B3 的中间调试省出的时间比省下的 FLOPs 值钱得多。3. 用 PyTorch 把 EfficientNet 图像分类训练跑通3.1 数据加载与预处理训练和验证的变换必须分开实操先定目录结构。按 ImageFolder 的习惯组织数据train 和 val 下各放一个子目录对应一个类别data/ train/ class_a/ 001.jpg ... class_b/ 001.jpg ... val/ class_a/ ... class_b/ ...预处理在图像分类里是两条完全不同的分支训练用随机裁剪和翻转验证只用 resize 加中心裁剪。很多项目训练跑崩问题不在模型而在训练和验证共用同一套 augment模型看到的分布被人为拉偏。参考配置from torchvision import transforms IMG_SIZE 224 # B0 对应 224换 B4 时改成 380 train_tf transforms.Compose([ transforms.RandomResizedCrop(IMG_SIZE, scale(0.6, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.3), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_tf transforms.Compose([ transforms.Resize(int(IMG_SIZE / 0.875)), # 224 - 256 transforms.CenterCrop(IMG_SIZE), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])RandomResizedCrop 的 scale 控制在 0.6 到 1.0 之间比默认的 0.08 保守对商品图和花卉图更稳这类数据里目标占画面比例较大允许裁到 8% 会让网络学到错误的尺度。Resize 到 256 再 CenterCrop 成 224 是 ImageNet 时代留下的惯例好处是每张图保留一点上下文信息。接着用 ImageFolder 和 DataLoader 接上from torch.utils.data import DataLoader from torchvision import datasets train_ds datasets.ImageFolder(data/train, transformtrain_tf) val_ds datasets.ImageFolder(data/val, transformval_tf) train_loader DataLoader(train_ds, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)num_workers 设在 4 到 8 之间超过 CPU 核数反而增加进程切换开销。pin_memoryTrue 配合 GPU 训练能让数据传输走更快的内存映射前提是数据加载不瓶颈。数据在机械硬盘上时先把图拷到本地固态目录再训练省掉 IO 等待的时间比任何调参都明显。3.2 换分类头最后一层必须按自己的类别数改torchvision 和 timm 都提供预训练 EfficientNet。推荐 timm权重列表更全对 EfficientNet 系列的预处理约定一致。加载方式import timm import torch.nn as nn num_classes 12 # 自己数据集的类别数 model timm.create_model( efficientnet_b0, pretrainedTrue, num_classesnum_classes # timm 自动替换分类头 ) print(model.classifier) # 确认分类头维度timm 在传 num_classes 时自动把最后的 Linear 换成新维度不需要手动改。有一个高频踩坑点如果先 num_classes0 把分类头去掉再手动接输入维度要从 model.num_features 取不能硬编码 1280。虽然 EfficientNet 全系列最后输出都是 1280 维但显式取 num_features 的代码更抗迁。另一个容易被忽略的细节是输入通道数。预训练权重默认期望 RGB 三通道。如果数据是灰度图或深度图最稳的做法是取 stem 层第一个卷积的权重对已有通道做平均后复制到新通道数而不是重新随机初始化整个 stem。随机初始化会让前几层在迁移初期输出分布异常BN 统计量要花很久才能纠回来。3.3 训练循环与损失函数label smoothing 值得一开始就开训练参数按图像分类的常规配置import torch from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR criterion torch.nn.CrossEntropyLoss(label_smoothing0.1) optimizer AdamW(model.parameters(), lr2e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max30)label_smoothing 设为 0.1对中小数据集能明显抑制过拟合。它把 one-hot 目标里的 1.0 硬信号摊成 0.9 和其余类别各分一点模型不再追求把某个类别的 logit 推到极端大softmax 输出更平滑。配合 EfficientNet 本身的正则化能力很少出现训练 acc 100% 而验证集波动的怪相。训练循环里有一个值得单独拎出来的顺序问题先 model.train()再前向、算 loss、反向最后 scheduler.step()而且 scheduler 必须在 optimizer.step() 之后调用。CosineAnnealing 的余弦周期依赖真实 step 次数提前调用会让学习率曲线整体偏移。验证阶段记得 model.eval() 并用 torch.no_grad() 包住否则 BN 统计量和 dropout 行为不一致验证指标会上下抖动。4. 让 EfficientNet 训练稳定收敛增强、混合精度与踩坑细节4.1 数据增强策略RandAugment 和 CutMix 怎么加才不拖后腿训练到中期最常见的状况是验证集 top-1 停在某个值不动。这时候先别急着换模型回到数据增强上。EfficientNet 在 ImageNet 上用过 AutoAugment 和 RandAugment直接照搬到自己数据上不一定合适。常见做法是用弱化版 RandAugment保留翻转、旋转、平移和对比度去掉过于激进的颜色扰动from timm.data import rand_augment_transform train_aug rand_augment_transform( config_strrand-m4-mstd0.5-inc1, hparams{img_mean: (124, 116, 104), img_std: (58, 57, 57)} )m4 表示每次最多应用 4 个增强操作mstd0.5 控制增强强度的标准差inc1 表示强度从 1 开始递增。数据本身存在光照不均问题时把 mstd 调大到 0.7 往往比额外加亮度变换更有效因为随机增强把亮度抖动当作全局变换叠加多次会让同批样本光照差异极端化干扰 BN 统计量。CutMix 对小目标多的图像分类有明显收益但比例要控制。稳妥的起步值是概率 0.5、alpha 取 1.0与随机裁剪叠加时被裁剪部分会被另一张图的像素填充标签按面积比例混合。模型学到的不再是“有花瓣就是花”而是真正按前景区域判断。代价是收敛变慢前几个 epoch 的 loss 比纯交叉熵高一截这是正常现象不要以为是代码写崩了。4.2 混合精度训练AMP 的收益和两个常见误用混合精度的收益主要来自显存减半Tensor Core 加速在 EfficientNet 上不如 ResNet 明显但显存收益是实打实的。PyTorch 原生 AMP 的实现scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: images images.cuda(non_blockingTrue) labels labels.cuda(non_blockingTrue) with torch.cuda.amp.autocast(): logits model(images) loss criterion(logits, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()GradScaler 的作用是防梯度下溢。fp16 的最小正数大约是 6e-8反向传播里的梯度常比这还小直接存会变 0。scaler 把 loss 乘一个系数再反向等于抬高梯度量级optimizer.step 之前再除掉。常见误用是把 scaler.scale(loss).backward() 换成普通 loss.backward()训练不报错但小梯度全被吞掉loss 卡在一个下不去的平台。另一个误用是开了 AMP 后手动把学习率加倍fp16 下收敛曲线会变毛糙正确姿势是维持原 lr靠每秒迭代数提升去缩短总时长。在 V100 或 A100 上顺手把 cudnn benchmark 打开。输入分辨率固定时卷积形状稳定benchmark 模式自动找最快卷积算法通常能再省 10% 到 20%torch.backends.cudnn.benchmark True4.3 三个高频坑BN 统计量、学习率敏感度和 EMA第一个坑是预训练模型的 BN 层在迁移初期输出不稳定。加载 ImageNet 权重后直接按正常 lr 微调前几个 batch 的 loss 偶尔会冲高这是 running stats 与当前 batch 分布不一致所致。解法是前 3 个 epoch 用 2e-4 的小学习率做 warmup让 BN 统计量先适应新数据再提到正常值。第二个坑是 CosineAnnealing 配了过大的初始学习率。EfficientNet 对 lr 的敏感度比 ResNet 高2e-3 起步时小数据集上第一轮准确率可能只有三成看着像没收敛实际只是余弦曲线还没降到位。判断标准是看前 5 个 epoch 的 loss 趋势而不是第一轮的绝对数值。第三个被低估的操作是 EMA指数移动平均。维护一份参数的滑动平均用平均权重做验证和推理在图像分类上通常能白拿 0.3 到 0.5 个点from torch.optim.swa_utils import AveragedModel ema_model AveragedModel( model, avg_fnlambda avg, p, _: 0.999 * avg 0.001 * p ) # 每个 step 的 optimizer.step() 之后调用 ema_model.update_parameters(model)0.999 表示每个 step 只保留 0.1% 的新参数信息平均权重更贴近训练后期稳定区域。衰减系数超过 0.9995 时平均窗口太长权重变化跟不上。用 ema_model 做验证时还要单独跑一遍数据重新计算每个 BN 层的均值方差写回否则 BN 统计量还停留在旧主干上top-1 可能反而比单模型低。5. 推理阶段再榨一点精度EfficientNet 的 TTA、热力图与导出5.1 测试时增强不重训也能补救薄弱类别如果验证集上某个类别压力大比如遮挡的花卉或折叠的衣物没时间重训时 TTA 是见效最快的手段。推理时对同一张图做多个空间变换平均多个预测结果import numpy as np def tta_predict(model, pil_image, n_aug4): preds [] for _ in range(n_aug): shifted transforms.RandomResizedCrop( IMG_SIZE, scale(0.8, 1.0) )(pil_image) x val_tf(shifted).unsqueeze(0).cuda() with torch.no_grad(): logits model(x) preds.append(torch.softmax(logits, dim1).cpu().numpy()) return np.mean(preds, axis0)TTA 的顺序要和训练一致先做空间变换再做标准化。平均方式用算术平均而不是几何平均类别数多时几何平均会把小概率类别压得过低。服务端部署一般只开 4 个 view开到 8 个以上收益递减时延却线性增长。5.2 用 Grad-CAM 确认模型没有学偏只盯着准确率开发不了生产模型。拿一个误分类样本做热力图能看到网络到底在看哪里。可用 torchcam 直接取某层激活from torchcam.methods import SmoothGradCAMpp cam_extractor SmoothGradCAMpp(model, target_layermodel.blocks[-1][-1]) with torch.no_grad(): out model(x.unsqueeze(0)) act cam_extractor(0, out)把热力图叠加到原图上。如果响应区域落在背景而非目标主体说明标签里混入了位置偏差这类问题靠调参解决不了只能回数据清洗。5.3 导出注意点state_dict、动态轴与 eval 模式导出时不要裸 torch.save 整个 model 对象跨环境加载时依赖版本一漂就反序列化失败。常见做法是只存 state_dict 和必要元信息torch.save({state_dict: model.state_dict(), num_classes: num_classes, img_size: IMG_SIZE}, efficientnet_b0_ckpt.pth)加载时先 create_model 再 load_state_dict保持 strictTrue 默认开启权重缺失或多余都会即时报错。若走 PyTorch 到 ONNX 再到 TensorRT 的部署链路ONNX 导出时必须显式指定 dynamic_axes否则 TensorRT 按静态 shape 优化动态输入会触发额外构建。导出前把模型切成 eval 模式并关闭梯度这一步漏了ONNX 图里会多出大量训练分支。导出后拿一张真实推理图对拍精度确认输出和 PyTorch 原模型一致再进服务。本文还有配套的精品资源点击获取
EfficientNet图像分类实战指南：从结构原理到训练部署
简介这份图像分类实战包以EfficientNet为核心基于Pytorch实现面向希望快速上手图像分类项目的学习者。资源共8个文件包含5个Python脚本、2个编译缓存pyc文件以及1个已训练好的模型权重文件压缩包整体大小38.27MB。脚本覆盖数据集加载、模型训练与测试等完整流程可直接参考或改写用于自定义数据集随附的model.pth为预训练结果加载后即可进行推理验证降低从零训练的时间和硬件成本。目录结构简洁数据、代码、权重分层放置便于按需调用。目前已有1205人学习下载适合具备一定Python基础、正在入门图像分类或需要快速搭建EfficientNet基线方案的开发者。1. 图像分类任务里EfficientNet 为什么值得再拿出来跑一遍很多做图像分类的团队习惯从 ResNet50 起步评测集上刷到 95% 就收工等部署时才发现显存、时延和成本全翻车。EfficientNet 是对这个问题较真的产物用神经架构搜索确定基础结构再用“复合缩放”把深度、宽度、分辨率绑在一起放大让精度和计算量始终待在同一条性价比曲线上。B0 只有大约 5.3M 参数ImageNet top-1 约 77%FLOPs 不到 ResNet50 的十分之一。花鸟分类、森林图像分类、商品图这类中小规模数据集拿它当主干往往比堆 transformer 图像分类模型更早收敛、更好部署。把它当成一个解压即用的实战包数据管线、训练脚本、推理 checkpoint 依次打通下面按这条路径把每一步涉及的选择和坑都过一遍。2. EfficientNet 网络结构拆解MBConv、SE 注意力与复合缩放2.1 为什么 NAS 搜出来的 MBConv 比普通卷积更适合图像分类EfficientNet 的基础模块叫 MBConv继承自 MobileNetV2 的倒残差结构。普通残差块是先降维再卷积再升维倒残差反过来先用 1×1 卷积把通道数扩上去经过深度可分离卷积再用 1×1 卷积压回低维。这么设计的原因是让空间特征在高维通道空间中提取而跨层恒等映射只保留低维信息计算量大幅下降。EfficientNet 在 MBConv 内部额外加了 SE 模块Squeeze-and-Excitation先用全局平均池化把每个通道压成标量再经过两个全连接层生成一组通道权重把“哪些通道该被放大”显式地学出来。这一层轻量注意力对图像分类的提升很直接——花和背景同时出现在画面里时SE 会抑制背景通道的响应。实现层面的固定参数值得记住expansion ratio 是 6即 1×1 卷积先把通道放大 6 倍再进入深度可分离卷积SE 的中间层又缩回输入通道的 1/4。实际工程里不需要手写这些算子torchvision 和 timm 都封装好了。但理解结构对排错有意义训练时显存不够优先砍的往往不是输入分辨率而是 batch size因为深度可分离卷积的显存大头在激活值不在参数量。2.2 复合缩放为什么只堆深度或只堆分辨率都吃亏如果沿用 ResNet 时代的思路单方面加深到 200 层或者把输入图放大到 512精度会涨但 FLOPs 涨得更快边际收益快速下降。EfficientNet 论文给出的约束是同时缩放三个维度深度 d α 的 φ 次方宽度 w β 的 φ 次方分辨率 r γ 的 φ 次方并约束 α·β²·γ² ≈ 2。这个约束的含义是每增加一单位计算量三个维度按固定比例关系一起提升而不是单独往一个方向硬拉。网格搜索给出的基线系数是 α1.2、β1.1、γ1.15B1 到 B7 就是不断放大 φ 的增量配置。这三个系数直接决定了“用什么代价换什么精度”。图像分类里有一种常见误用想提高准确率于是单独把分辨率从 224 提到 384结果模糊小目标的识别没改善训练时间反而长了近 3 倍。正确做法是换成官方给好的下一档版本比如从 B0 换到 B2或者直接用 efficientnet_b4 配合 380 分辨率让宽度、深度、分辨率按比例走而不是拆开单独调。2.3 EfficientNet 家族选型一张表确定用哪个版本在动手之前把版本选对的成本最低。下表是常见公有预训练权重的近似数值不同框架的预训练细节有差异按“约”来看版本输入分辨率宽度系数深度系数参数量约ImageNet top-1约B02241.01.05.3M77.1%B12401.01.17.8M79.1%B22601.11.29.2M80.1%B43801.41.819M82.9%这个表主要看两列输入分辨率对应数据里目标物体的尺寸占比参数量对应显卡和边缘设备预算。B4 以上的版本在 ImageNet 上还能再涨一点但参数量过了 30M对多数业务场景收益已经很薄。我一般先拿 B0 做 baseline 确认数据管线没有 bug验证集指标能正常上升再直接切 B4 做正式训练——跳过 B1、B2、B3 的中间调试省出的时间比省下的 FLOPs 值钱得多。3. 用 PyTorch 把 EfficientNet 图像分类训练跑通3.1 数据加载与预处理训练和验证的变换必须分开实操先定目录结构。按 ImageFolder 的习惯组织数据train 和 val 下各放一个子目录对应一个类别data/ train/ class_a/ 001.jpg ... class_b/ 001.jpg ... val/ class_a/ ... class_b/ ...预处理在图像分类里是两条完全不同的分支训练用随机裁剪和翻转验证只用 resize 加中心裁剪。很多项目训练跑崩问题不在模型而在训练和验证共用同一套 augment模型看到的分布被人为拉偏。参考配置from torchvision import transforms IMG_SIZE 224 # B0 对应 224换 B4 时改成 380 train_tf transforms.Compose([ transforms.RandomResizedCrop(IMG_SIZE, scale(0.6, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.3, contrast0.3, saturation0.3), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) val_tf transforms.Compose([ transforms.Resize(int(IMG_SIZE / 0.875)), # 224 - 256 transforms.CenterCrop(IMG_SIZE), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])RandomResizedCrop 的 scale 控制在 0.6 到 1.0 之间比默认的 0.08 保守对商品图和花卉图更稳这类数据里目标占画面比例较大允许裁到 8% 会让网络学到错误的尺度。Resize 到 256 再 CenterCrop 成 224 是 ImageNet 时代留下的惯例好处是每张图保留一点上下文信息。接着用 ImageFolder 和 DataLoader 接上from torch.utils.data import DataLoader from torchvision import datasets train_ds datasets.ImageFolder(data/train, transformtrain_tf) val_ds datasets.ImageFolder(data/val, transformval_tf) train_loader DataLoader(train_ds, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue) val_loader DataLoader(val_ds, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue)num_workers 设在 4 到 8 之间超过 CPU 核数反而增加进程切换开销。pin_memoryTrue 配合 GPU 训练能让数据传输走更快的内存映射前提是数据加载不瓶颈。数据在机械硬盘上时先把图拷到本地固态目录再训练省掉 IO 等待的时间比任何调参都明显。3.2 换分类头最后一层必须按自己的类别数改torchvision 和 timm 都提供预训练 EfficientNet。推荐 timm权重列表更全对 EfficientNet 系列的预处理约定一致。加载方式import timm import torch.nn as nn num_classes 12 # 自己数据集的类别数 model timm.create_model( efficientnet_b0, pretrainedTrue, num_classesnum_classes # timm 自动替换分类头 ) print(model.classifier) # 确认分类头维度timm 在传 num_classes 时自动把最后的 Linear 换成新维度不需要手动改。有一个高频踩坑点如果先 num_classes0 把分类头去掉再手动接输入维度要从 model.num_features 取不能硬编码 1280。虽然 EfficientNet 全系列最后输出都是 1280 维但显式取 num_features 的代码更抗迁。另一个容易被忽略的细节是输入通道数。预训练权重默认期望 RGB 三通道。如果数据是灰度图或深度图最稳的做法是取 stem 层第一个卷积的权重对已有通道做平均后复制到新通道数而不是重新随机初始化整个 stem。随机初始化会让前几层在迁移初期输出分布异常BN 统计量要花很久才能纠回来。3.3 训练循环与损失函数label smoothing 值得一开始就开训练参数按图像分类的常规配置import torch from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR criterion torch.nn.CrossEntropyLoss(label_smoothing0.1) optimizer AdamW(model.parameters(), lr2e-3, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max30)label_smoothing 设为 0.1对中小数据集能明显抑制过拟合。它把 one-hot 目标里的 1.0 硬信号摊成 0.9 和其余类别各分一点模型不再追求把某个类别的 logit 推到极端大softmax 输出更平滑。配合 EfficientNet 本身的正则化能力很少出现训练 acc 100% 而验证集波动的怪相。训练循环里有一个值得单独拎出来的顺序问题先 model.train()再前向、算 loss、反向最后 scheduler.step()而且 scheduler 必须在 optimizer.step() 之后调用。CosineAnnealing 的余弦周期依赖真实 step 次数提前调用会让学习率曲线整体偏移。验证阶段记得 model.eval() 并用 torch.no_grad() 包住否则 BN 统计量和 dropout 行为不一致验证指标会上下抖动。4. 让 EfficientNet 训练稳定收敛增强、混合精度与踩坑细节4.1 数据增强策略RandAugment 和 CutMix 怎么加才不拖后腿训练到中期最常见的状况是验证集 top-1 停在某个值不动。这时候先别急着换模型回到数据增强上。EfficientNet 在 ImageNet 上用过 AutoAugment 和 RandAugment直接照搬到自己数据上不一定合适。常见做法是用弱化版 RandAugment保留翻转、旋转、平移和对比度去掉过于激进的颜色扰动from timm.data import rand_augment_transform train_aug rand_augment_transform( config_strrand-m4-mstd0.5-inc1, hparams{img_mean: (124, 116, 104), img_std: (58, 57, 57)} )m4 表示每次最多应用 4 个增强操作mstd0.5 控制增强强度的标准差inc1 表示强度从 1 开始递增。数据本身存在光照不均问题时把 mstd 调大到 0.7 往往比额外加亮度变换更有效因为随机增强把亮度抖动当作全局变换叠加多次会让同批样本光照差异极端化干扰 BN 统计量。CutMix 对小目标多的图像分类有明显收益但比例要控制。稳妥的起步值是概率 0.5、alpha 取 1.0与随机裁剪叠加时被裁剪部分会被另一张图的像素填充标签按面积比例混合。模型学到的不再是“有花瓣就是花”而是真正按前景区域判断。代价是收敛变慢前几个 epoch 的 loss 比纯交叉熵高一截这是正常现象不要以为是代码写崩了。4.2 混合精度训练AMP 的收益和两个常见误用混合精度的收益主要来自显存减半Tensor Core 加速在 EfficientNet 上不如 ResNet 明显但显存收益是实打实的。PyTorch 原生 AMP 的实现scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: images images.cuda(non_blockingTrue) labels labels.cuda(non_blockingTrue) with torch.cuda.amp.autocast(): logits model(images) loss criterion(logits, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()GradScaler 的作用是防梯度下溢。fp16 的最小正数大约是 6e-8反向传播里的梯度常比这还小直接存会变 0。scaler 把 loss 乘一个系数再反向等于抬高梯度量级optimizer.step 之前再除掉。常见误用是把 scaler.scale(loss).backward() 换成普通 loss.backward()训练不报错但小梯度全被吞掉loss 卡在一个下不去的平台。另一个误用是开了 AMP 后手动把学习率加倍fp16 下收敛曲线会变毛糙正确姿势是维持原 lr靠每秒迭代数提升去缩短总时长。在 V100 或 A100 上顺手把 cudnn benchmark 打开。输入分辨率固定时卷积形状稳定benchmark 模式自动找最快卷积算法通常能再省 10% 到 20%torch.backends.cudnn.benchmark True4.3 三个高频坑BN 统计量、学习率敏感度和 EMA第一个坑是预训练模型的 BN 层在迁移初期输出不稳定。加载 ImageNet 权重后直接按正常 lr 微调前几个 batch 的 loss 偶尔会冲高这是 running stats 与当前 batch 分布不一致所致。解法是前 3 个 epoch 用 2e-4 的小学习率做 warmup让 BN 统计量先适应新数据再提到正常值。第二个坑是 CosineAnnealing 配了过大的初始学习率。EfficientNet 对 lr 的敏感度比 ResNet 高2e-3 起步时小数据集上第一轮准确率可能只有三成看着像没收敛实际只是余弦曲线还没降到位。判断标准是看前 5 个 epoch 的 loss 趋势而不是第一轮的绝对数值。第三个被低估的操作是 EMA指数移动平均。维护一份参数的滑动平均用平均权重做验证和推理在图像分类上通常能白拿 0.3 到 0.5 个点from torch.optim.swa_utils import AveragedModel ema_model AveragedModel( model, avg_fnlambda avg, p, _: 0.999 * avg 0.001 * p ) # 每个 step 的 optimizer.step() 之后调用 ema_model.update_parameters(model)0.999 表示每个 step 只保留 0.1% 的新参数信息平均权重更贴近训练后期稳定区域。衰减系数超过 0.9995 时平均窗口太长权重变化跟不上。用 ema_model 做验证时还要单独跑一遍数据重新计算每个 BN 层的均值方差写回否则 BN 统计量还停留在旧主干上top-1 可能反而比单模型低。5. 推理阶段再榨一点精度EfficientNet 的 TTA、热力图与导出5.1 测试时增强不重训也能补救薄弱类别如果验证集上某个类别压力大比如遮挡的花卉或折叠的衣物没时间重训时 TTA 是见效最快的手段。推理时对同一张图做多个空间变换平均多个预测结果import numpy as np def tta_predict(model, pil_image, n_aug4): preds [] for _ in range(n_aug): shifted transforms.RandomResizedCrop( IMG_SIZE, scale(0.8, 1.0) )(pil_image) x val_tf(shifted).unsqueeze(0).cuda() with torch.no_grad(): logits model(x) preds.append(torch.softmax(logits, dim1).cpu().numpy()) return np.mean(preds, axis0)TTA 的顺序要和训练一致先做空间变换再做标准化。平均方式用算术平均而不是几何平均类别数多时几何平均会把小概率类别压得过低。服务端部署一般只开 4 个 view开到 8 个以上收益递减时延却线性增长。5.2 用 Grad-CAM 确认模型没有学偏只盯着准确率开发不了生产模型。拿一个误分类样本做热力图能看到网络到底在看哪里。可用 torchcam 直接取某层激活from torchcam.methods import SmoothGradCAMpp cam_extractor SmoothGradCAMpp(model, target_layermodel.blocks[-1][-1]) with torch.no_grad(): out model(x.unsqueeze(0)) act cam_extractor(0, out)把热力图叠加到原图上。如果响应区域落在背景而非目标主体说明标签里混入了位置偏差这类问题靠调参解决不了只能回数据清洗。5.3 导出注意点state_dict、动态轴与 eval 模式导出时不要裸 torch.save 整个 model 对象跨环境加载时依赖版本一漂就反序列化失败。常见做法是只存 state_dict 和必要元信息torch.save({state_dict: model.state_dict(), num_classes: num_classes, img_size: IMG_SIZE}, efficientnet_b0_ckpt.pth)加载时先 create_model 再 load_state_dict保持 strictTrue 默认开启权重缺失或多余都会即时报错。若走 PyTorch 到 ONNX 再到 TensorRT 的部署链路ONNX 导出时必须显式指定 dynamic_axes否则 TensorRT 按静态 shape 优化动态输入会触发额外构建。导出前把模型切成 eval 模式并关闭梯度这一步漏了ONNX 图里会多出大量训练分支。导出后拿一张真实推理图对拍精度确认输出和 PyTorch 原模型一致再进服务。本文还有配套的精品资源点击获取
