1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它又是一个调参工具或者某个深度学习框架里附带的小模块。但真正在训练一线待过的人都知道模型优化器远不止“调个学习率”这么简单。它更像是整个训练流程里的“变速箱”同样一台发动机模型结构换不同的变速箱优化器加速表现、油耗、平顺性完全不一样。你拿一个几十亿参数的大模型用最朴素的随机梯度下降去跑可能跑一周都不收敛换成带自适应学习率的优化器同样的数据、同样的硬件收敛速度和最终效果能差出一个数量级。这篇文章我想聊的就是围绕“Model-Optimizer”这个主题把模型优化器从概念到实操、从选型到排坑完整地拆一遍。不管你是刚入门深度学习的在校学生还是已经带过几个训练项目的工程师只要你在跟模型训练打交道优化器就是你绕不开的核心组件。我会尽量用从业者之间交流的方式来讲不堆公式不背定义重点放在“为什么这么选”和“实际怎么用”上。先给一个最直白的定位模型优化器是决定参数如何根据损失函数的梯度进行更新的算法。损失函数告诉你“错得有多离谱”梯度告诉你“往哪个方向调能少错一点”而优化器决定“每次调多少、怎么调、要不要加惯性、要不要对每个参数区别对待”。这三者里优化器是最容易被忽视、但对训练结果影响最直接的一环。我见过太多项目模型结构设计得很漂亮数据清洗也做得扎实结果训练死活不收敛最后发现问题出在优化器默认参数上。也见过有人盲目照搬论文里的优化器配置却没注意论文用的是分布式训练、batch size是自己实验的几十倍学习率根本没做相应缩放。这些坑后面我会一个个展开讲。2. 主流优化器的选型逻辑与背后原理2.1 从SGD到Adam为什么自适应方法成了默认选项如果你翻十年前的深度学习论文优化器那一栏大概率写的是SGD随机梯度下降好一点的会写SGD with Momentum。但现在你再看新的论文和开源项目Adam及其变体几乎成了默认配置。这个转变不是跟风而是有非常实际的工程原因。SGD的核心逻辑特别朴素每次沿着梯度的反方向走一个固定步长学习率。它的优点是理论性质干净、泛化能力在某些任务上确实更好缺点是对学习率极其敏感而且所有参数共用一个学习率。这在深层网络里是灾难性的——不同层的梯度量级可能差好几个数量级用同一个步长去更新要么浅层学不动要么深层直接震荡发散。Momentum的引入解决了一部分问题它给更新过程加了“惯性”让参数更新方向更平滑能冲过一些局部的小坑。但本质上它还是全局统一学习率。Adam的出现改变了游戏规则。它做了两件事第一为每个参数单独维护一阶矩梯度的指数移动平均和二阶矩梯度平方的指数移动平均第二用这两个矩去动态调整每个参数的实际更新步长。翻译成人话就是梯度一直很大的参数我就给它小一点的步长防止震荡梯度一直很小的参数我就给它大一点的步长让它别偷懒。这种“因材施教”的策略让Adam在绝大多数任务上都能开箱即用不需要太精细的学习率调校。但Adam也不是没有代价。它的自适应机制在训练后期有时会导致泛化能力不如精调过的SGDMomentum而且在某些任务上权重衰减的处理方式如果不对效果会打折扣。这就引出了后面要讲的AdamW。2.2 AdamW与权重衰减的正确姿势很多人不知道原始Adam实现里的L2正则化和真正的权重衰减并不是一回事。在SGD里L2正则项加在损失函数上等价于在每次更新时把权重往零的方向拉一点这就是权重衰减。但在Adam里因为自适应学习率的存在L2正则项会被二阶矩缩放导致大梯度的参数实际受到的衰减反而变小这就偏离了权重衰减的本意。AdamW的做法很干脆把权重衰减从梯度计算里拿出来直接在参数更新那一步单独减。这样权重衰减的力度就和自适应学习率解耦了每个参数受到的衰减是均匀的。这个改动看起来很小但在Transformer类模型上效果差异非常明显。现在你去看HuggingFace的Trainer、PyTorch的官方示例AdamW基本是标配。选型上我的经验是如果你在做Transformer、BERT、GPT这类结构无脑上AdamW权重衰减设0.01起步如果是CNN做图像分类SGDMomentum配合余弦退火学习率往往能刷出更好的精度但调参成本高如果是强化学习或者GAN这种对训练稳定性极其敏感的任务Adam的低学习率版本通常更稳。2.3 学习率调度优化器的“副驾驶”优化器本身只定义了更新规则但真正决定训练成败的往往是学习率怎么随时间变化。这就好比开车发动机再好你一直地板油或者一直怠速车都开不好。最常见的几种调度策略Step Decay每隔固定epoch把学习率乘以一个衰减系数比如0.1。简单粗暴在ResNet时代的图像任务里很常见。Cosine Annealing学习率按余弦曲线从初始值平滑降到接近零。这个策略在Transformer训练里几乎是默认选项因为它能让模型在训练后期以极小的步长精细收敛。Warmup Linear/Cosine Decay先用一个很小的学习率“热身”几百到几千步再线性或余弦上升到峰值最后衰减。Warmup的作用是防止训练初期梯度噪声太大导致模型跑偏在大batch训练里几乎是必须的。OneCycle先升后降形成一个完整的周期。适合训练轮数固定的场景能显著加速收敛。这里有个实操细节Warmup的步数不是拍脑袋定的。一个常用的经验公式是warmup步数约等于总训练步数的5%到10%但如果你的batch size特别大比如上万warmup比例还要再提高。因为大batch意味着梯度估计更准但噪声更小初期直接用大学习率容易让模型进入一个不好的区域。3. 实操从零配置一个可复现的优化流程3.1 环境与依赖准备我以PyTorch为例来走一遍完整流程因为它的优化器接口最清晰社区资料也最全。假设你已经装好了PyTorch和基本的数据处理库下面直接进入配置环节。首先明确几个需要在训练开始前就定下来的超参数超参数典型值作用初始学习率1e-4 ~ 1e-3控制更新步长权重衰减0.01 ~ 0.1防止过拟合Beta10.9一阶矩衰减率Beta20.999二阶矩衰减率Epsilon1e-8数值稳定性常数Warmup比例5% ~ 10%训练初期稳定梯度裁剪阈值1.0防止梯度爆炸这些值不是随便填的。Beta10.9意味着梯度的一阶矩大约看过去10步的平均Beta20.999意味着二阶矩看过去1000步的平均。Epsilon是为了防止除零一般不需要改。梯度裁剪阈值1.0是Transformer训练里的常见选择因为注意力层的梯度有时会突然变得很大。3.2 优化器与调度器的代码实现下面是一段可以直接抄的配置代码我加了详细注释说明每个参数为什么这么设import torch from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR, SequentialLR # 假设 model 已经定义好 # 初始学习率Transformer类模型常用2e-5到5e-5这里取3e-5 base_lr 3e-5 # 权重衰减AdamW的标准配置0.01起步 weight_decay 0.01 # 总训练步数根据你的数据量和batch size算出来 total_steps 10000 # Warmup步数取总步数的8% warmup_steps int(total_steps * 0.08) # 定义优化器 optimizer AdamW( model.parameters(), lrbase_lr, betas(0.9, 0.999), eps1e-8, weight_decayweight_decay ) # 定义学习率调度先线性warmup再余弦衰减 warmup_scheduler LinearLR( optimizer, start_factor0.1, # 从初始学习率的10%开始 end_factor1.0, total_iterswarmup_steps ) cosine_scheduler CosineAnnealingLR( optimizer, T_maxtotal_steps - warmup_steps, eta_minbase_lr * 0.01 # 最低降到初始值的1% ) scheduler SequentialLR( optimizer, schedulers[warmup_scheduler, cosine_scheduler], milestones[warmup_steps] )这段代码里有个容易踩的坑SequentialLR的milestones参数指的是切换点的步数不是持续时间。我第一次用的时候把warmup_steps写成了warmup的结束步数结果调度器在训练一开始就切到了余弦阶段warmup完全没生效loss直接飞了。3.3 训练循环中的关键操作配置好优化器和调度器之后训练循环里还有几个必须注意的点for step, batch in enumerate(dataloader): # 1. 梯度清零 optimizer.zero_grad() # 2. 前向传播 outputs model(**batch) loss outputs.loss # 3. 反向传播 loss.backward() # 4. 梯度裁剪在optimizer.step之前 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) # 5. 参数更新 optimizer.step() # 6. 学习率调度每个step调用一次 scheduler.step() # 7. 日志记录 if step % 100 0: current_lr scheduler.get_last_lr()[0] print(fStep {step}, Loss: {loss.item():.4f}, LR: {current_lr:.2e})这里有几个顺序问题必须强调梯度裁剪一定要在optimizer.step之前、backward之后。如果你在backward之前裁剪梯度还没算出来裁了个寂寞。如果你在step之后裁剪参数已经更新了裁剪也没意义。另外scheduler.step()的调用频率要和你的调度策略匹配——如果你用的是按step衰减的调度器就每个step调一次如果是按epoch衰减的就每个epoch调一次。混用会导致学习率变化完全乱套。3.4 参数分组不同层用不同学习率在实际项目里尤其是微调预训练模型时我们经常需要给不同层设置不同的学习率。比如BERT微调底层参数已经学得很好了只需要微调学习率应该小一点顶层的分类头是随机初始化的需要大一点的学习率快速学习。# 假设model有encoder和classifier两部分 no_decay [bias, LayerNorm.weight] # 这些参数不做权重衰减 optimizer_grouped_parameters [ { params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.01, lr: 3e-5 # 底层小学习率 }, { params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0, lr: 3e-5 }, { params: model.classifier.parameters(), weight_decay: 0.01, lr: 1e-4 # 分类头大学习率 } ] optimizer AdamW(optimizer_grouped_parameters)为什么要对bias和LayerNorm不做权重衰减因为这两类参数本身数量很少而且bias的合理值往往不在零附近强行往零拉反而有害。LayerNorm的缩放参数也是类似道理。这个细节在原始BERT论文里就有提到但很多人配优化器时直接一把梭所有参数统一weight_decay0.01结果就是模型效果差那么一两个点还找不到原因。4. 常见问题与排查技巧实录4.1 Loss不下降或直接变成NaN这是训练中最常见也最让人抓狂的问题。按我的排查顺序一般是这样的第一步检查学习率是不是太大了。把学习率除以10再跑几百步看看。如果loss开始下降那就是学习率问题。特别是用Adam的时候虽然它对学习率不那么敏感但初始学习率设成1e-2这种量级该炸还是炸。第二步检查梯度裁剪有没有生效。打印一下裁剪前的梯度范数如果动辄几百上千说明梯度爆炸了。这时候要么降低学习率要么把裁剪阈值调小要么检查数据里有没有异常样本。第三步检查损失函数和标签是否匹配。我遇到过有人做多分类任务标签是0到N-1的整数但损失函数用的是需要one-hot的版本结果loss一直是NaN。这种问题不是优化器的锅但表现和优化器问题一模一样。第四步检查有没有除零或log(0)。如果损失函数里有log操作而模型输出恰好是0或负数就会产生NaN。加一个极小值epsilon通常能解决。下面这张表可以快速对照排查现象可能原因快速验证方法Loss缓慢上升学习率过大降低10倍重跑Loss剧烈震荡batch size太小或学习率过大增大batch或降低学习率Loss变NaN梯度爆炸/除零/标签错误开梯度裁剪、检查损失函数Loss下降后停滞学习率衰减太快或模型容量不足调整调度器、换更大模型训练loss降但验证loss升过拟合增大权重衰减、加dropout4.2 优化器状态加载与断点续训训练大模型动辄几天几周断点续训是刚需。但优化器的状态保存和加载有个坑你不仅要保存模型参数还要保存优化器的状态字典。因为Adam为每个参数维护了一阶矩和二阶矩如果不保存这些续训时优化器会从零开始重新估计导致学习率实际效果和之前不一致loss可能会突然跳一下。# 保存 torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), scheduler_state_dict: scheduler.state_dict(), step: global_step }, checkpoint.pt) # 加载 checkpoint torch.load(checkpoint.pt) model.load_state_dict(checkpoint[model_state_dict]) optimizer.load_state_dict(checkpoint[optimizer_state_dict]) scheduler.load_state_dict(checkpoint[scheduler_state_dict]) global_step checkpoint[step]注意加载优化器状态之前必须先创建好优化器实例而且参数分组结构要和保存时完全一致。如果你保存时用了三组参数加载时只建了一组load_state_dict会直接报错。4.3 混合精度训练下的优化器注意事项现在训练大模型基本都会开混合精度AMP用float16做前向和反向用float32维护优化器状态。这里有个关键点优化器的epsilon在混合精度下可能需要调大。因为float16的精度有限梯度平方的移动平均在数值很小时容易下溢到零导致除零。把epsilon从1e-8调到1e-6甚至1e-5能有效避免这个问题。另外PyTorch的AMP会自动做梯度缩放GradScaler防止float16梯度下溢。但GradScaler和梯度裁剪一起用时要注意顺序先scaler.unscale_(optimizer)把梯度还原到float32再做裁剪最后scaler.step(optimizer)。scaler torch.cuda.amp.GradScaler() for batch in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(**batch) loss outputs.loss scaler.scale(loss).backward() scaler.unscale_(optimizer) # 先还原梯度 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 再裁剪 scaler.step(optimizer) scaler.update() scheduler.step()这个顺序我踩过坑如果先裁剪再unscale裁的是缩放后的梯度阈值就完全不对了。4.4 学习率预热与大批量训练的配合当你把batch size从32提到1024甚至更大时学习率不能简单线性放大。业界有个经验法则叫“线性缩放规则”batch size扩大k倍学习率也扩大k倍。但这个规则在batch size特别大时会失效需要配合warmup使用。更稳妥的做法是使用平方根缩放学习率按batch size的平方根放大。比如batch从256到1024扩大4倍学习率扩大2倍。然后在训练初期用warmup慢慢把学习率升上去。这样即使batch很大训练初期也不会因为学习率过大而发散。我在一个文本分类项目里做过对比实验batch size512不用warmup直接上3e-4的学习率loss在200步内就炸了加上500步warmup同样的学习率训练非常平稳最终F1还高了1.5个点。这个实验说明warmup不是可有可无的装饰而是大批量训练的稳定器。5. 进阶技巧让优化器真正服务于你的任务5.1 分层学习率与判别式微调在计算机视觉和NLP的迁移学习里分层学习率Layer-wise Learning Rate Decay是个非常实用的技巧。核心思想是越靠近输入的层学到的特征越通用微调时应该用越小的学习率越靠近输出的层任务相关性越强应该用越大的学习率。以BERT微调为例假设有12层Transformer我们可以这样设置def get_layer_lr(base_lr, layer_id, num_layers, decay0.9): 第layer_id层的学习率越底层越小 return base_lr * (decay ** (num_layers - layer_id)) # 为每一层创建参数组 num_layers 12 base_lr 2e-5 optimizer_grouped_parameters [] for layer_id in range(num_layers): layer_lr get_layer_lr(base_lr, layer_id, num_layers) layer_params [p for n, p in model.named_parameters() if flayer.{layer_id}. in n] optimizer_grouped_parameters.append({ params: layer_params, lr: layer_lr }) # 分类头用最大学习率 optimizer_grouped_parameters.append({ params: model.classifier.parameters(), lr: base_lr * 5 })decay0.9意味着每往下一层学习率乘以0.9。12层下来最底层的学习率大约是最顶层的0.9^11≈0.31倍。这个衰减力度在大多数任务上比较合适不会让底层完全学不动也不会让底层被大学习率破坏。5.2 梯度累积与等效batch size显存不够是训练大模型时的常态。梯度累积Gradient Accumulation让你可以用小batch跑但累积多步梯度后再更新一次参数等效于大batch训练。accumulation_steps 4 # 累积4步再更新 for step, batch in enumerate(dataloader): outputs model(**batch) loss outputs.loss / accumulation_steps # 损失要除以累积步数 loss.backward() if (step 1) % accumulation_steps 0: torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() optimizer.zero_grad()这里的关键细节是损失要除以累积步数。因为PyTorch的backward默认是累加梯度如果你不除累积4步后的梯度就是正常值的4倍等效于学习率翻了4倍很容易炸。这个坑我在早期项目里踩过loss曲线像过山车一样。另外要注意梯度累积时BatchNorm的统计量是按实际micro-batch更新的和真正的大batch行为有差异。如果模型里有BatchNorm要么改用GroupNorm或LayerNorm要么接受这个近似。5.3 优化器状态的显存占用与优化Adam为每个参数维护两个状态一阶矩和二阶矩所以优化器状态占用的显存大约是模型参数量的2倍。一个1亿参数的模型参数本身用float32存是400MB优化器状态就是800MB再加上梯度400MB总共1.6GB。如果模型是10亿参数光优化器状态就8GB这还没算激活值。如果显存吃紧有几个方向可以优化使用8-bit Adam把优化器状态量化到8位整数显存占用直接降到四分之一。bitsandbytes库提供了现成的实现效果损失很小。使用Adafactor它不存完整的二阶矩而是用低秩分解来近似显存占用大幅降低。T5模型训练就是用Adafactor。ZeRO优化在分布式训练里把优化器状态切分到不同GPU上每张卡只存一部分。DeepSpeed和FairScale都支持。我个人的经验是单卡训练优先考虑8-bit Adam多卡训练直接上ZeRO Stage 2或3。Adafactor虽然省显存但在某些任务上收敛速度比AdamW慢需要更多训练步数来补偿。6. 我踩过的那些优化器坑说几个真实踩过的坑都是文档里不会写、但实际项目中一定会遇到的。第一个坑学习率调度器和优化器的初始化顺序。如果你先创建了scheduler再往optimizer里加参数组scheduler里的学习率不会自动更新到新的参数组。正确顺序永远是先定义optimizer和所有参数组再创建scheduler。第二个坑从预训练模型加载时优化器状态不匹配。你加载了一个别人训好的模型但你的分类头维度和他不一样这时候optimizer.load_state_dict会报维度不匹配。解决办法是只加载模型参数优化器重新初始化。或者用strictFalse参数忽略不匹配的键。第三个坑warmup期间梯度裁剪阈值设得太小。warmup阶段学习率很小梯度本身也不大如果你把裁剪阈值设成0.1这种很小的值会把所有梯度都裁掉模型根本学不动。裁剪阈值应该根据梯度的实际量级来定一般1.0是个安全的起点。第四个坑多卡训练时学习率没有相应调整。用DataParallel或DistributedDataParallel时如果每张卡的batch size是324张卡等效batch size就是128。这时候学习率应该按前面说的缩放规则调整否则相当于变相降低了学习率训练会变慢。第五个坑评估时忘记切换模型模式。这个和优化器没直接关系但表现和优化器问题很像——训练loss正常下降验证loss死活不降。原因是模型还在train模式dropout和batchnorm还在用训练时的行为。记得在评估前调用model.eval()评估完再model.train()。7. 不同任务场景下的优化器配置参考最后给几个我实际用过的配置模板覆盖常见任务类型。这些不是金科玉律但作为起点能帮你省掉大量试错时间。任务类型优化器学习率权重衰减调度策略备注图像分类(CNN)SGDMomentum0.11e-4Cosinebatch256, warmup5 epoch图像分类(CNN)AdamW1e-30.01Cosine适合小数据集微调目标检测SGDMomentum0.021e-4Step(8,11)12 epoch计划文本分类(BERT)AdamW2e-50.01Linearwarmup10%文本生成(GPT)AdamW3e-40.1Cosinewarmup2000步语义分割SGDMomentum0.015e-4Polypoly power0.9语音识别AdamW1e-40.01Transformerwarmup25000步这些配置背后的逻辑是一致的CNN类任务用SGD往往泛化更好Transformer类任务用AdamW更稳小数据集微调用更小的学习率和更强的权重衰减。但具体数值一定要根据你的数据量、batch size、模型大小做调整。我一般会先跑一个几百步的小实验看loss曲线是否健康再决定要不要放大规模正式训练。优化器这个东西理论可以讲得很深但落到实操上就是几个关键决策选哪个优化器、学习率设多少、要不要warmup、权重衰减怎么配、梯度裁剪阈值定多少。把这几个决策做对了训练就成功了一大半。剩下的就是耐心调、仔细看日志、遇到问题按排查表一步步定位。我在实际项目里的体会是与其花时间尝试各种花哨的优化器变体不如把AdamWCosineWarmup这套基础组合吃透它能解决你90%的训练问题。
模型优化器实战指南：从SGD到AdamW的选型与调参
1. 模型优化器到底在优化什么第一次看到“Model-Optimizer”这个词很多人会下意识觉得它又是一个调参工具或者某个深度学习框架里附带的小模块。但真正在训练一线待过的人都知道模型优化器远不止“调个学习率”这么简单。它更像是整个训练流程里的“变速箱”同样一台发动机模型结构换不同的变速箱优化器加速表现、油耗、平顺性完全不一样。你拿一个几十亿参数的大模型用最朴素的随机梯度下降去跑可能跑一周都不收敛换成带自适应学习率的优化器同样的数据、同样的硬件收敛速度和最终效果能差出一个数量级。这篇文章我想聊的就是围绕“Model-Optimizer”这个主题把模型优化器从概念到实操、从选型到排坑完整地拆一遍。不管你是刚入门深度学习的在校学生还是已经带过几个训练项目的工程师只要你在跟模型训练打交道优化器就是你绕不开的核心组件。我会尽量用从业者之间交流的方式来讲不堆公式不背定义重点放在“为什么这么选”和“实际怎么用”上。先给一个最直白的定位模型优化器是决定参数如何根据损失函数的梯度进行更新的算法。损失函数告诉你“错得有多离谱”梯度告诉你“往哪个方向调能少错一点”而优化器决定“每次调多少、怎么调、要不要加惯性、要不要对每个参数区别对待”。这三者里优化器是最容易被忽视、但对训练结果影响最直接的一环。我见过太多项目模型结构设计得很漂亮数据清洗也做得扎实结果训练死活不收敛最后发现问题出在优化器默认参数上。也见过有人盲目照搬论文里的优化器配置却没注意论文用的是分布式训练、batch size是自己实验的几十倍学习率根本没做相应缩放。这些坑后面我会一个个展开讲。2. 主流优化器的选型逻辑与背后原理2.1 从SGD到Adam为什么自适应方法成了默认选项如果你翻十年前的深度学习论文优化器那一栏大概率写的是SGD随机梯度下降好一点的会写SGD with Momentum。但现在你再看新的论文和开源项目Adam及其变体几乎成了默认配置。这个转变不是跟风而是有非常实际的工程原因。SGD的核心逻辑特别朴素每次沿着梯度的反方向走一个固定步长学习率。它的优点是理论性质干净、泛化能力在某些任务上确实更好缺点是对学习率极其敏感而且所有参数共用一个学习率。这在深层网络里是灾难性的——不同层的梯度量级可能差好几个数量级用同一个步长去更新要么浅层学不动要么深层直接震荡发散。Momentum的引入解决了一部分问题它给更新过程加了“惯性”让参数更新方向更平滑能冲过一些局部的小坑。但本质上它还是全局统一学习率。Adam的出现改变了游戏规则。它做了两件事第一为每个参数单独维护一阶矩梯度的指数移动平均和二阶矩梯度平方的指数移动平均第二用这两个矩去动态调整每个参数的实际更新步长。翻译成人话就是梯度一直很大的参数我就给它小一点的步长防止震荡梯度一直很小的参数我就给它大一点的步长让它别偷懒。这种“因材施教”的策略让Adam在绝大多数任务上都能开箱即用不需要太精细的学习率调校。但Adam也不是没有代价。它的自适应机制在训练后期有时会导致泛化能力不如精调过的SGDMomentum而且在某些任务上权重衰减的处理方式如果不对效果会打折扣。这就引出了后面要讲的AdamW。2.2 AdamW与权重衰减的正确姿势很多人不知道原始Adam实现里的L2正则化和真正的权重衰减并不是一回事。在SGD里L2正则项加在损失函数上等价于在每次更新时把权重往零的方向拉一点这就是权重衰减。但在Adam里因为自适应学习率的存在L2正则项会被二阶矩缩放导致大梯度的参数实际受到的衰减反而变小这就偏离了权重衰减的本意。AdamW的做法很干脆把权重衰减从梯度计算里拿出来直接在参数更新那一步单独减。这样权重衰减的力度就和自适应学习率解耦了每个参数受到的衰减是均匀的。这个改动看起来很小但在Transformer类模型上效果差异非常明显。现在你去看HuggingFace的Trainer、PyTorch的官方示例AdamW基本是标配。选型上我的经验是如果你在做Transformer、BERT、GPT这类结构无脑上AdamW权重衰减设0.01起步如果是CNN做图像分类SGDMomentum配合余弦退火学习率往往能刷出更好的精度但调参成本高如果是强化学习或者GAN这种对训练稳定性极其敏感的任务Adam的低学习率版本通常更稳。2.3 学习率调度优化器的“副驾驶”优化器本身只定义了更新规则但真正决定训练成败的往往是学习率怎么随时间变化。这就好比开车发动机再好你一直地板油或者一直怠速车都开不好。最常见的几种调度策略Step Decay每隔固定epoch把学习率乘以一个衰减系数比如0.1。简单粗暴在ResNet时代的图像任务里很常见。Cosine Annealing学习率按余弦曲线从初始值平滑降到接近零。这个策略在Transformer训练里几乎是默认选项因为它能让模型在训练后期以极小的步长精细收敛。Warmup Linear/Cosine Decay先用一个很小的学习率“热身”几百到几千步再线性或余弦上升到峰值最后衰减。Warmup的作用是防止训练初期梯度噪声太大导致模型跑偏在大batch训练里几乎是必须的。OneCycle先升后降形成一个完整的周期。适合训练轮数固定的场景能显著加速收敛。这里有个实操细节Warmup的步数不是拍脑袋定的。一个常用的经验公式是warmup步数约等于总训练步数的5%到10%但如果你的batch size特别大比如上万warmup比例还要再提高。因为大batch意味着梯度估计更准但噪声更小初期直接用大学习率容易让模型进入一个不好的区域。3. 实操从零配置一个可复现的优化流程3.1 环境与依赖准备我以PyTorch为例来走一遍完整流程因为它的优化器接口最清晰社区资料也最全。假设你已经装好了PyTorch和基本的数据处理库下面直接进入配置环节。首先明确几个需要在训练开始前就定下来的超参数超参数典型值作用初始学习率1e-4 ~ 1e-3控制更新步长权重衰减0.01 ~ 0.1防止过拟合Beta10.9一阶矩衰减率Beta20.999二阶矩衰减率Epsilon1e-8数值稳定性常数Warmup比例5% ~ 10%训练初期稳定梯度裁剪阈值1.0防止梯度爆炸这些值不是随便填的。Beta10.9意味着梯度的一阶矩大约看过去10步的平均Beta20.999意味着二阶矩看过去1000步的平均。Epsilon是为了防止除零一般不需要改。梯度裁剪阈值1.0是Transformer训练里的常见选择因为注意力层的梯度有时会突然变得很大。3.2 优化器与调度器的代码实现下面是一段可以直接抄的配置代码我加了详细注释说明每个参数为什么这么设import torch from torch.optim import AdamW from torch.optim.lr_scheduler import CosineAnnealingLR, LinearLR, SequentialLR # 假设 model 已经定义好 # 初始学习率Transformer类模型常用2e-5到5e-5这里取3e-5 base_lr 3e-5 # 权重衰减AdamW的标准配置0.01起步 weight_decay 0.01 # 总训练步数根据你的数据量和batch size算出来 total_steps 10000 # Warmup步数取总步数的8% warmup_steps int(total_steps * 0.08) # 定义优化器 optimizer AdamW( model.parameters(), lrbase_lr, betas(0.9, 0.999), eps1e-8, weight_decayweight_decay ) # 定义学习率调度先线性warmup再余弦衰减 warmup_scheduler LinearLR( optimizer, start_factor0.1, # 从初始学习率的10%开始 end_factor1.0, total_iterswarmup_steps ) cosine_scheduler CosineAnnealingLR( optimizer, T_maxtotal_steps - warmup_steps, eta_minbase_lr * 0.01 # 最低降到初始值的1% ) scheduler SequentialLR( optimizer, schedulers[warmup_scheduler, cosine_scheduler], milestones[warmup_steps] )这段代码里有个容易踩的坑SequentialLR的milestones参数指的是切换点的步数不是持续时间。我第一次用的时候把warmup_steps写成了warmup的结束步数结果调度器在训练一开始就切到了余弦阶段warmup完全没生效loss直接飞了。3.3 训练循环中的关键操作配置好优化器和调度器之后训练循环里还有几个必须注意的点for step, batch in enumerate(dataloader): # 1. 梯度清零 optimizer.zero_grad() # 2. 前向传播 outputs model(**batch) loss outputs.loss # 3. 反向传播 loss.backward() # 4. 梯度裁剪在optimizer.step之前 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) # 5. 参数更新 optimizer.step() # 6. 学习率调度每个step调用一次 scheduler.step() # 7. 日志记录 if step % 100 0: current_lr scheduler.get_last_lr()[0] print(fStep {step}, Loss: {loss.item():.4f}, LR: {current_lr:.2e})这里有几个顺序问题必须强调梯度裁剪一定要在optimizer.step之前、backward之后。如果你在backward之前裁剪梯度还没算出来裁了个寂寞。如果你在step之后裁剪参数已经更新了裁剪也没意义。另外scheduler.step()的调用频率要和你的调度策略匹配——如果你用的是按step衰减的调度器就每个step调一次如果是按epoch衰减的就每个epoch调一次。混用会导致学习率变化完全乱套。3.4 参数分组不同层用不同学习率在实际项目里尤其是微调预训练模型时我们经常需要给不同层设置不同的学习率。比如BERT微调底层参数已经学得很好了只需要微调学习率应该小一点顶层的分类头是随机初始化的需要大一点的学习率快速学习。# 假设model有encoder和classifier两部分 no_decay [bias, LayerNorm.weight] # 这些参数不做权重衰减 optimizer_grouped_parameters [ { params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.01, lr: 3e-5 # 底层小学习率 }, { params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0, lr: 3e-5 }, { params: model.classifier.parameters(), weight_decay: 0.01, lr: 1e-4 # 分类头大学习率 } ] optimizer AdamW(optimizer_grouped_parameters)为什么要对bias和LayerNorm不做权重衰减因为这两类参数本身数量很少而且bias的合理值往往不在零附近强行往零拉反而有害。LayerNorm的缩放参数也是类似道理。这个细节在原始BERT论文里就有提到但很多人配优化器时直接一把梭所有参数统一weight_decay0.01结果就是模型效果差那么一两个点还找不到原因。4. 常见问题与排查技巧实录4.1 Loss不下降或直接变成NaN这是训练中最常见也最让人抓狂的问题。按我的排查顺序一般是这样的第一步检查学习率是不是太大了。把学习率除以10再跑几百步看看。如果loss开始下降那就是学习率问题。特别是用Adam的时候虽然它对学习率不那么敏感但初始学习率设成1e-2这种量级该炸还是炸。第二步检查梯度裁剪有没有生效。打印一下裁剪前的梯度范数如果动辄几百上千说明梯度爆炸了。这时候要么降低学习率要么把裁剪阈值调小要么检查数据里有没有异常样本。第三步检查损失函数和标签是否匹配。我遇到过有人做多分类任务标签是0到N-1的整数但损失函数用的是需要one-hot的版本结果loss一直是NaN。这种问题不是优化器的锅但表现和优化器问题一模一样。第四步检查有没有除零或log(0)。如果损失函数里有log操作而模型输出恰好是0或负数就会产生NaN。加一个极小值epsilon通常能解决。下面这张表可以快速对照排查现象可能原因快速验证方法Loss缓慢上升学习率过大降低10倍重跑Loss剧烈震荡batch size太小或学习率过大增大batch或降低学习率Loss变NaN梯度爆炸/除零/标签错误开梯度裁剪、检查损失函数Loss下降后停滞学习率衰减太快或模型容量不足调整调度器、换更大模型训练loss降但验证loss升过拟合增大权重衰减、加dropout4.2 优化器状态加载与断点续训训练大模型动辄几天几周断点续训是刚需。但优化器的状态保存和加载有个坑你不仅要保存模型参数还要保存优化器的状态字典。因为Adam为每个参数维护了一阶矩和二阶矩如果不保存这些续训时优化器会从零开始重新估计导致学习率实际效果和之前不一致loss可能会突然跳一下。# 保存 torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), scheduler_state_dict: scheduler.state_dict(), step: global_step }, checkpoint.pt) # 加载 checkpoint torch.load(checkpoint.pt) model.load_state_dict(checkpoint[model_state_dict]) optimizer.load_state_dict(checkpoint[optimizer_state_dict]) scheduler.load_state_dict(checkpoint[scheduler_state_dict]) global_step checkpoint[step]注意加载优化器状态之前必须先创建好优化器实例而且参数分组结构要和保存时完全一致。如果你保存时用了三组参数加载时只建了一组load_state_dict会直接报错。4.3 混合精度训练下的优化器注意事项现在训练大模型基本都会开混合精度AMP用float16做前向和反向用float32维护优化器状态。这里有个关键点优化器的epsilon在混合精度下可能需要调大。因为float16的精度有限梯度平方的移动平均在数值很小时容易下溢到零导致除零。把epsilon从1e-8调到1e-6甚至1e-5能有效避免这个问题。另外PyTorch的AMP会自动做梯度缩放GradScaler防止float16梯度下溢。但GradScaler和梯度裁剪一起用时要注意顺序先scaler.unscale_(optimizer)把梯度还原到float32再做裁剪最后scaler.step(optimizer)。scaler torch.cuda.amp.GradScaler() for batch in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): outputs model(**batch) loss outputs.loss scaler.scale(loss).backward() scaler.unscale_(optimizer) # 先还原梯度 torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) # 再裁剪 scaler.step(optimizer) scaler.update() scheduler.step()这个顺序我踩过坑如果先裁剪再unscale裁的是缩放后的梯度阈值就完全不对了。4.4 学习率预热与大批量训练的配合当你把batch size从32提到1024甚至更大时学习率不能简单线性放大。业界有个经验法则叫“线性缩放规则”batch size扩大k倍学习率也扩大k倍。但这个规则在batch size特别大时会失效需要配合warmup使用。更稳妥的做法是使用平方根缩放学习率按batch size的平方根放大。比如batch从256到1024扩大4倍学习率扩大2倍。然后在训练初期用warmup慢慢把学习率升上去。这样即使batch很大训练初期也不会因为学习率过大而发散。我在一个文本分类项目里做过对比实验batch size512不用warmup直接上3e-4的学习率loss在200步内就炸了加上500步warmup同样的学习率训练非常平稳最终F1还高了1.5个点。这个实验说明warmup不是可有可无的装饰而是大批量训练的稳定器。5. 进阶技巧让优化器真正服务于你的任务5.1 分层学习率与判别式微调在计算机视觉和NLP的迁移学习里分层学习率Layer-wise Learning Rate Decay是个非常实用的技巧。核心思想是越靠近输入的层学到的特征越通用微调时应该用越小的学习率越靠近输出的层任务相关性越强应该用越大的学习率。以BERT微调为例假设有12层Transformer我们可以这样设置def get_layer_lr(base_lr, layer_id, num_layers, decay0.9): 第layer_id层的学习率越底层越小 return base_lr * (decay ** (num_layers - layer_id)) # 为每一层创建参数组 num_layers 12 base_lr 2e-5 optimizer_grouped_parameters [] for layer_id in range(num_layers): layer_lr get_layer_lr(base_lr, layer_id, num_layers) layer_params [p for n, p in model.named_parameters() if flayer.{layer_id}. in n] optimizer_grouped_parameters.append({ params: layer_params, lr: layer_lr }) # 分类头用最大学习率 optimizer_grouped_parameters.append({ params: model.classifier.parameters(), lr: base_lr * 5 })decay0.9意味着每往下一层学习率乘以0.9。12层下来最底层的学习率大约是最顶层的0.9^11≈0.31倍。这个衰减力度在大多数任务上比较合适不会让底层完全学不动也不会让底层被大学习率破坏。5.2 梯度累积与等效batch size显存不够是训练大模型时的常态。梯度累积Gradient Accumulation让你可以用小batch跑但累积多步梯度后再更新一次参数等效于大batch训练。accumulation_steps 4 # 累积4步再更新 for step, batch in enumerate(dataloader): outputs model(**batch) loss outputs.loss / accumulation_steps # 损失要除以累积步数 loss.backward() if (step 1) % accumulation_steps 0: torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() scheduler.step() optimizer.zero_grad()这里的关键细节是损失要除以累积步数。因为PyTorch的backward默认是累加梯度如果你不除累积4步后的梯度就是正常值的4倍等效于学习率翻了4倍很容易炸。这个坑我在早期项目里踩过loss曲线像过山车一样。另外要注意梯度累积时BatchNorm的统计量是按实际micro-batch更新的和真正的大batch行为有差异。如果模型里有BatchNorm要么改用GroupNorm或LayerNorm要么接受这个近似。5.3 优化器状态的显存占用与优化Adam为每个参数维护两个状态一阶矩和二阶矩所以优化器状态占用的显存大约是模型参数量的2倍。一个1亿参数的模型参数本身用float32存是400MB优化器状态就是800MB再加上梯度400MB总共1.6GB。如果模型是10亿参数光优化器状态就8GB这还没算激活值。如果显存吃紧有几个方向可以优化使用8-bit Adam把优化器状态量化到8位整数显存占用直接降到四分之一。bitsandbytes库提供了现成的实现效果损失很小。使用Adafactor它不存完整的二阶矩而是用低秩分解来近似显存占用大幅降低。T5模型训练就是用Adafactor。ZeRO优化在分布式训练里把优化器状态切分到不同GPU上每张卡只存一部分。DeepSpeed和FairScale都支持。我个人的经验是单卡训练优先考虑8-bit Adam多卡训练直接上ZeRO Stage 2或3。Adafactor虽然省显存但在某些任务上收敛速度比AdamW慢需要更多训练步数来补偿。6. 我踩过的那些优化器坑说几个真实踩过的坑都是文档里不会写、但实际项目中一定会遇到的。第一个坑学习率调度器和优化器的初始化顺序。如果你先创建了scheduler再往optimizer里加参数组scheduler里的学习率不会自动更新到新的参数组。正确顺序永远是先定义optimizer和所有参数组再创建scheduler。第二个坑从预训练模型加载时优化器状态不匹配。你加载了一个别人训好的模型但你的分类头维度和他不一样这时候optimizer.load_state_dict会报维度不匹配。解决办法是只加载模型参数优化器重新初始化。或者用strictFalse参数忽略不匹配的键。第三个坑warmup期间梯度裁剪阈值设得太小。warmup阶段学习率很小梯度本身也不大如果你把裁剪阈值设成0.1这种很小的值会把所有梯度都裁掉模型根本学不动。裁剪阈值应该根据梯度的实际量级来定一般1.0是个安全的起点。第四个坑多卡训练时学习率没有相应调整。用DataParallel或DistributedDataParallel时如果每张卡的batch size是324张卡等效batch size就是128。这时候学习率应该按前面说的缩放规则调整否则相当于变相降低了学习率训练会变慢。第五个坑评估时忘记切换模型模式。这个和优化器没直接关系但表现和优化器问题很像——训练loss正常下降验证loss死活不降。原因是模型还在train模式dropout和batchnorm还在用训练时的行为。记得在评估前调用model.eval()评估完再model.train()。7. 不同任务场景下的优化器配置参考最后给几个我实际用过的配置模板覆盖常见任务类型。这些不是金科玉律但作为起点能帮你省掉大量试错时间。任务类型优化器学习率权重衰减调度策略备注图像分类(CNN)SGDMomentum0.11e-4Cosinebatch256, warmup5 epoch图像分类(CNN)AdamW1e-30.01Cosine适合小数据集微调目标检测SGDMomentum0.021e-4Step(8,11)12 epoch计划文本分类(BERT)AdamW2e-50.01Linearwarmup10%文本生成(GPT)AdamW3e-40.1Cosinewarmup2000步语义分割SGDMomentum0.015e-4Polypoly power0.9语音识别AdamW1e-40.01Transformerwarmup25000步这些配置背后的逻辑是一致的CNN类任务用SGD往往泛化更好Transformer类任务用AdamW更稳小数据集微调用更小的学习率和更强的权重衰减。但具体数值一定要根据你的数据量、batch size、模型大小做调整。我一般会先跑一个几百步的小实验看loss曲线是否健康再决定要不要放大规模正式训练。优化器这个东西理论可以讲得很深但落到实操上就是几个关键决策选哪个优化器、学习率设多少、要不要warmup、权重衰减怎么配、梯度裁剪阈值定多少。把这几个决策做对了训练就成功了一大半。剩下的就是耐心调、仔细看日志、遇到问题按排查表一步步定位。我在实际项目里的体会是与其花时间尝试各种花哨的优化器变体不如把AdamWCosineWarmup这套基础组合吃透它能解决你90%的训练问题。
