训练神经网络这几年我有一多半的“模型不收敛”最终都指向同一个元凶——不是网络搭错了不是学习率没调好也不是数据喂得不对而是参数初始化没做好。很多人把PyTorch当黑盒模型构建完直接传数据、算loss、backward等loss变成了水平线才想起来检查权重。其实在一轮训练开始之前每一层权重分布就已经悄悄决定了后面这条路是康庄大道还是万丈深渊。这篇想把这个主题彻底聊透为什么参数初始化能在训练的第一步就决定成败Xavier和Kaiming这些主流方案背后的数学动机是什么怎样在PyTorch框架下把初始化环节完全握在自己手里以及我在实际项目中踩过的初始化相关的坑。适合刚入门PyTorch和神经网络基础的朋友也适合那些训练过不少模型、却从来没主动干预过初始化的同学。相信我看完你会忍不住去检查自己那几层网络到底是怎么“起跑”的。1. 初始化是第一道关卡从梯度传播看它为啥这么重要很多教程在讲神经网络时把初始化当成一个“选个随机数就行”的步骤一笔带过。但实际上初始化的质量决定了网络在一开始处于损失曲面上的哪个位置也决定了反向传播的梯度信号能不能完整地传回浅层。1.1 一个让模型“学不动”的真实场景先说一个我自己的案例。早年在本地跑一个浅层全连接网络做回归预测结构很简单三个隐藏层每层64个神经元激活函数用ReLU输出层不加激活直接回归。数据归一化做得干干净净学习率从1e-2一路试着降到1e-5loss就是卡在某个值附近一动不动连下降的苗头都没有。排查了很久最后把权重打印出来看分布发现是我在用PyTorch搭网络时手动把权重全部初始化成了均值0、方差特别大的正态分布随机数。前向传播时每一层的输出都在指数级放大到最后一层已经全是几百几千的量级loss直接爆炸式增长梯度也出现了大量NaN。把权重的初始方差降回合理范围之后同一个模型、同一个学习率几十个epoch就正常收敛了。这个案例给我留下一个很深的印象初始化问题往往不会在代码层面爆出红色报错而是以一种“loss死活不降”的慢性病形式出现折腾你几天几夜。想通这一点就会明白我们为什么需要认真对待每一层参数的初始值。1.2 梯度传播中的连乘效应信号如何消失或爆炸要理解初始化先要看一次完整的前向和反向传播中发生了什么。以一个不带偏置的线性层为例输出满足y Wx那一层的输入 x 有 n 个维度输出 y 有 m 个维度。如果 x 的每个分量方差是 Var(x)权重 W 中每个元素的方差是 Var(W)那么 y 中某个分量的方差假设各分量独立大约是Var(y) ≈ n × Var(W) × Var(x)也就是说信号经过一层之后方差被放大了大约 n×Var(W) 倍。为了让信息在多层网络中传递时既不衰减到零、也不膨胀到爆一个自然的目标是让 Var(y) ≈ Var(x)。于是就有了第一个直觉结论Var(W) ≈ 1 / nn 就是这一层的输入维度在初始化理论里叫 fan_in扇入。反向传播是同样的逻辑只是信号变成了梯度。设 loss 对 y 的梯度是 dy那么对 x 的梯度是dx Wᵀ dy此时经过这一层反向传播时梯度的方差由输出维度 mfan_out扇出决定。要让梯度反向传播时保持稳定需要Var(W) ≈ 1 / m前向希望按 fan_in 来定方差反向希望按 fan_out 来定方差两个需求不一致怎么办这就是不同初始化方法分道扬镳的地方。比如Xavier取两者的调和折中Kaiming则根据激活函数特性调整系数。但不管哪种方法核心都是在控制连乘效应的放大倍数让它稳定在1附近。1.3 对称性陷阱所有神经元变成同一个人除了梯度消失和爆炸初始化还藏着一个更隐蔽的陷阱——对称性。如果同一层的所有权重初始化为相同的常数比如全零、全0.1那么这层所有神经元的输入分布完全相同。反向传播计算出的梯度对每个神经元也完全相同。于是无论怎么更新这些神经元永远走一样的路整个隐藏层实际上退化成了一个神经元。这就是为什么“全零初始化”在理论上被明确否定它会让多层网络变成一层单神经元的表达能力。实际工程中没人蠢到全零但不少人会把权重设成全零而忘了偏置或者把线性层和卷积层的偏置习惯性设成全零——这本身没问题只要权重本身是“各不相同”的随机数对称性就被打破了。偏置的初始化和权重逻辑不一样。权重一旦全相同会造成对称退化偏置全零却无伤大雅因为偏置的输入来自前一层的非对称激活值。大多数框架里的默认选项也是“偏置为0”或“很小的随机数”这是合理的。提示随机数只是表象核心是“破坏对称”和“控制方差”这两件事。任何初始化方案本质上都是在回答这两个问题每个参数的方差应该多大在什么范围内取随机数2. 主流初始化方法解析Xavier、Kaiming和其他选手的来龙去脉深度学习研究这么多年初始化方法也就那几款主流选手在打天下。Mike的入门路线图大概是先认识Glorot即Xavier初始化再掌握专为ReLU而生的Kaiming初始化最后了解RNN场景下的正交初始化以及各类偏置、正则化层的处理。2.1 Xavier/Glorot初始化为对称激活函数而生的理论基准2010年Glorot和Bengio在《Understanding the difficulty of training deep feedforward neural networks》里提出了一个著名的方法PyTorch里叫xavier_uniform_和xavier_normal_。它针对的是tanh这类关于原点对称、激活值在0附近的函数。前面说过方差的理想取值要兼顾前向的fan_in和反向的fan_out。Xavier的折中方案是Var(W) 2 / (fan_in fan_out)如果是均匀分布 U(-a, a)均匀分布的方差是 a²/3那么a²/3 2 / (fan_in fan_out)解得a √(6 / (fan_in fan_out))这样xavier_uniform_的标准边界就是W ~ U(-√(6/(fan_infan_out)), √(6/(fan_infan_out)))如果是正态分布直接取均值为0、方差为2/(fan_infan_out)。这套方案有个隐含的假设激活函数在零点附近的斜率接近1比如tanh在0点的导数是1sigmoid在0点的导数是0.25。所以你会发现PyTorch的xavier_系列文档里明确写着“推荐用于tanh和sigmoid类型激活”。如果把它硬套在ReLU上会因为ReLU直接把一半信号砍成0而导致方差不匹配。2.2 Kaiming/He初始化专门给ReLU家族打的补丁2015年何恺明团队在《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中推出了针对ReLU的初始化方案也就是PyTorch里的kaiming_uniform_和kaiming_normal_。ReLU有个特性输入负数时输出恒为0。假设输入x分布关于0对称经过ReLU后约有一半的信号变成了0剩余一半保持原样整体方差大约只有输入的一半。这相当于信号每经过一次ReLU就减半。为了补偿这个衰减Kaiming初始化把权重方差调整为前向模式下Var(W) 2 / fan_in训练过程中前向传播主要使用fan_in模式所以PyTorch的kaiming_normal_默认modefan_in。如果设置modefan_out则方差为2/fan_out适合在需要保持反向梯度方差的场景下使用。对于均匀分布版本边界相应为W ~ U(-√(6/fan_in), √(6/fan_in))注意这里的分母里没有fan_out。我之前见过有人把这个边界和Xavier搞混结果模型浅层梯度衰减严重训练半天loss纹丝不动。如果你用ReLU系激活请认准Kaiming。Leaky ReLU这类带泄漏斜率的激活也适用Kaiming只是参数a要对应设置。PyTorch的kaiming_uniform_支持通过a参数传入负斜率。a√5时前面的计算已经帮偏置提供了一个合理的默认边界这个在官方源码的Linear初始化里也在用。2.3 偏置、BatchNorm和正交初始化容易被忽略的细节偏置初始化经常被忽略但它也有自己的规范。全连接层和卷积层的偏置一般初始化为0即可因为权重已经打破了对称性。PyTorch对Linear的默认偏置初始化并非完全为0而是根据权重的fan_in算出一个边界bound 1 / √(fan_in)然后偏置在U(-bound, bound)内均匀采样。这个设计其实很讲究它让偏置的初始量级和权重的输出量级匹配避免网络初期输出分布发生大偏移。BatchNorm层的初始化就更特殊了权重缩放系数γ初始化为1偏置平移系数β初始化为0。这意味着BatchNorm在训练初期保持输入分布的归一化状态先让网络“见见原貌”再逐步学习缩放和平移的必要性。如果你在加载别人代码时看到把BatchNorm的γ乱设成大数模型通常很难收敛。RNN和LSTM这类循环结构还经常使用正交初始化。正交矩阵的列向量彼此垂直有一个很好的性质矩阵乘法不会扩大或压缩向量长度。这能在长期依赖传播中缓解梯度消失让信息沿着时间步传得更远。PyTorch的nn.init.orthogonal_就干这个活儿。不是说你非用不可但在训练较长序列时让遗忘门偏置初始化为较大正值、让输入门偏置初始化为较小值再配合正交权重实际效果会明显更稳。提示第2节最后给个选择逻辑——激活函数是tanh/sigmoid时优先Xavier是ReLU/LeakyReLU时选Kaiming是RNN/LSTM时可在权重上加正交初始化。这三条基本覆盖了绝大多数网络。3. PyTorch初始化实操从默认规则到完全掌控理论讲再多最终要落到代码。PyTorch给了我们几层控制权默认初始化、nn.init工具函数、apply批量处理、以及重写reset_parameters。我从易到难逐个说。3.1 先搞清楚框架默认做了什么很多人不知道PyTorch在创建模型时已经做了初始化。比如nn.Linear和nn.Conv2d默认权重使用kaiming_uniform_bias默认使用U(-1/√fan_in, 1/√fan_in)。这对大多数ReLU网络其实是够用的。想确认自己模型每一层的默认初始化长什么样可以打印weight的均值和标准差或者用m.weight.data.histc()看看分布。这里有个实用小技巧在第一次前向传播前把模型各层参数的均值、标准差逐层打印出来一眼就能判断有没有层被初始化成了明显不合理的量级。3.2 nn.init的API清单动手改初始化PyTorch的torch.nn.init模块提供了一套非常完整的函数。下面是常用的几个我把它们的核心用途列出来xavier_uniform_(tensor, gain1)适合tanh/sigmoid均匀分布版本xavier_normal_(tensor, gain1)适合tanh/sigmoid正态分布版本kaiming_uniform_(tensor, a0, modefan_in, nonlinearityleaky_relu)适合ReLU/LeakyReLUkaiming_normal_(tensor, a0, modefan_in, nonlinearityleaky_relu)同上正态分布版本orthogonal_(tensor, gain1)适合RNN/LSTMones_(tensor)、zeros_(tensor)给偏置或BatchNorm的γ赋值constant_(tensor, val)固定常数eye_(tensor)单位矩阵初始化偶尔用于特定的注意力层使用方式也很直接拿到一个weight之后重新赋值即可import torch import torch.nn as nn linear nn.Linear(128, 64) nn.init.kaiming_normal_(linear.weight, modefan_in, nonlinearityrelu) nn.init.zeros_(linear.bias)需要注意kaiming系列有nonlinearity参数如果你漏传了默认是leaky_relua默认0。如果实际激活是普通ReLU建议显式写nonlinearityrelu避免把自己绕晕。实际上对于a0leaky_relu和relu的数学计算完全等价但因为源码走的分支略有不同显式写relu更语义化、更安全。3.3 用model.apply批量接管整个模型的初始化一个模型几十上百层不可能每层手动去改。PyTorch提供了module.apply方法它会递归地把传入的匿名函数作用在每个子模块上。这是实战中最常用的一招import torch.nn as nn def init_weights(module): acts (nn.Linear, nn.Conv1d, nn.Conv2d, nn.Conv3d) if isinstance(module, acts): nn.init.kaiming_normal_(module.weight, modefan_in, nonlinearityrelu) if module.bias is not None: nn.init.zeros_(module.bias) elif isinstance(module, nn.BatchNorm2d): nn.init.ones_(module.weight) nn.init.zeros_(module.bias) model nn.Sequential( nn.Conv2d(3, 16, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), nn.Linear(16 * 14 * 14, 10) ) model.apply(init_weights)init_weights会被每个子模块调用一次里面的isinstance判断决定当前子模块走哪条初始化规则。BatchNorm2d的γ设为1、β设为0卷积权重用kaiming_normal_偏置置零。这个做法的好处是集中管理。改初始化策略时只需要改init_weights一个函数而不是去动每个层定义。我习惯把init_weights放在模型文件最上方作为一个独立工具函数修改时一目了然。3.4 覆盖reset_parameters进阶玩法还有一种更“面向对象”的方式就是重写你的自定义模块里的reset_parameters方法。PyTorch在每次创建模块时都会调用这个方法。以自定义一个MLP块为例import math import torch import torch.nn as nn class MyMLPBlock(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, out_dim) self.relu nn.ReLU() def reset_parameters(self): nn.init.kaiming_uniform_(self.fc1.weight, amath.sqrt(5)) nn.init.zeros_(self.fc1.bias) def forward(self, x): return self.relu(self.fc1(x))执行这个模块的实例化时PyTorch会自动调用reset_parameters。如果你什么都不写默认会调用父类nn.Module的reset_parameters对新创建的层执行框架默认初始化。重写之后就完全由你说了算。我见过一些开源代码直接在__init__里初始化权重不写reset_parameters。这有个小隐患如果你后续想用model.apply重设整个模型的权重而那些层又没有暴露apply能识别的结构你的自定义层可能漏掉初始化。覆盖reset_parameters配合apply是更规范的组合。4. 初始化不当的典型症状与排查路径前面讲了这么多原理下面说说实际运行中最常遇到的问题。初始化的问题不会像语法错误那样直接抛异常它往往通过loss曲线和梯度统计来表达不满。掌握这套“病理学”非常值钱。4.1 从loss曲线形态判断初始化病情我见过最常见的情况有三种症状和“病因”对比如下症状可能病因解决方向loss初始值就是天文数字比如MSE回归初始loss上万输出层或隐藏层权重方差过大前向输出爆炸缩小初始标准差检查是否有未初始化的自定义层loss从训练开始就完全不下降平稳如直线梯度消失或权重对称信号传不到浅层切换为与激活函数匹配的初始化方法loss初期剧烈震荡像心电图一样极端波动初始方差偏大接近“混沌”状态用Xavier/Kaiming的std或bound再减半训练跑了十几个epoch后突然出现NaN初始化偏大叠加学习率偏高训练中期梯度爆炸降低学习率暂时缩小权重初始化方差其中“loss初始值就是天文数字”这条特别容易骗到新手。有人看到初始loss几万第一反应是改学习率或者改模型结构其实只要把最后一层权重初始化方差调小一点loss立刻正常。4.2 逐层梯度检查快速定位是哪层出了问题如果你怀疑初始化有问题最直接的办法是打印每一层的梯度范数。PyTorch里可以用反向传播后的grad属性查看for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.norm().item() if grad_norm 1e-6: print(f{name}: grad norm too small, {grad_norm:.2e}) elif grad_norm 1e2: print(f{name}: grad norm too large, {grad_norm:.2e})把这段代码塞进训练循环里跑一个step之后看结果。如果靠近输出层的参数梯度正常、靠近输入层的梯度极小说明信号在反向传播途中“熄灭”了典型的梯度消失大概率是激活函数和初始化不匹配。如果靠近输入层的梯度极大、靠近输出层的梯度正常说明梯度在传播过程中被不断放大这时应优先检查是否有层被初始化的方差过大或者学习率是不是太高。还有一个应该养成的好习惯在第一次backward之后顺手打印一下全模型的梯度范数总和total_grad_norm sum(p.grad.norm().item() ** 2 for p in model.parameters() if p.grad is not None) ** 0.5 print(ftotal grad norm: {total_grad_norm:.3f})总梯度范数稳定在一个合理范围比如个位数到几十训练通常健康。如果这个值在1e-4以下或1e4以上基本可以断定初始化或学习率配置有问题。4.3 三个我踩过且容易复现的坑先说第一个坑在自定义模块里创建层时忘了调用reset_parameters或做任何初始化。PyTorch对nn.Linear、nn.Conv这些内置层会自动初始化但如果你继承autograd.Function或者手动创建Parameter例如class MyLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.weight nn.Parameter(torch.empty(in_dim, out_dim))然后忘了给weight赋值这里面的内存数据就会是“未定义”的随机垃圾值可能是天大的正数也可能是NaN。正确的做法是立刻做初始化nn.init.kaiming_uniform_(self.weight, amath.sqrt(5))第二个坑用了Xavier初始化配ReLU激活。深层网络里前向信号被ReLU不断砍半后向梯度也跟着衰减几十层之后几乎传不回去。典型表现就是深层CNN训练特别慢浅层权重梯度几乎为零我实际项目中栽过跟头换Kaiming之后收敛速度天壤之别。第三个坑Transformer场景下不看输出方差直接用Kaiming初始化整个模型。Transformer里的注意力层涉及矩阵乘法和softmaxKaiming那套“为ReLU设计”的理论在这里并不完全适用。更合理的做法是配合更小的标准差比如0.02或者干脆依赖位置编码和LayerNorm的配合。前两年我调过一个小的Transformer用Xavier初始化注意力权重训练初期整个注意力分布全成了one-hotloss疯狂震荡改成0.02标准差后平稳了许多。这说明初始化不能脱离具体结构选型不要死板。提示排查初始化问题的正确顺序是先看初始loss是否处于合理区间再看第一轮训练后的梯度范数是否健康最后才调整学习率和优化器参数。别一上来就乱试超参数那会同时掩盖多个问题。5. 不同网络结构的初始化选型与实战心得到了这一节我想把实践中的经验汇总一下给出可以直接抄作业的选型建议和几个心法。5.1 初始化选型速查表一个相对稳妥的参考配置如下网络结构常用初始化偏置/特殊处理MLPReLUkaiming_normal_fan_inbias0MLPtanhxavier_normal_或xavier_uniform_bias0CNNReLUkaiming_normal_fan_inconv bias0BN γ1 β0LSTM/RNN正交初始化或xavier_uniform_遗忘门bias偏大如1.0Transformer各层标准差可取0.02或xavier_uniform_需配合LayerNorm和warmup迁移学习微调继承预训练参数不对主干重置新增分类头用较小随机值这张表偏保守但能保证你在大多数任务里起步不翻车。这里多说一句迁移学习微调的场景。很多人从头训练一个在预训练模型基础上加分类头的网络时会习惯性地调用model.apply把所有层重置一遍结果把预训练权重全冲掉了。这是非常痛的教训。迁移学习的正确做法是预训练主干保持不动只在新增层上做温和的随机初始化。因为预训练权重已经蕴含了良好的特征表示重新初始化等于毁掉这份资产。5.2 初始化与学习率、正则化的联动关系初始化从来不是一个孤立变量。我慢慢发现它和学习率之间存在明显的“联席效应”如果初始化方差偏大即使学习率很小训练过程也可能震荡如果初始化方差偏小又需要更大的学习率来弥补初期梯度过小的问题。所以调整初始化的时候要有意识地去配合学习率。我的习惯是先锁定一种合理的初始化方法再把学习率放在一个中间值比如1e-3或3e-4然后只动一个变量确认效果后再动另一个。很多人喜欢同时改一堆超参数到最后出了问题根本不知道是谁的锅。初始化对正则化也有微妙的影响。权重初始方差越大相当于模型一开始的“带宽”越宽隐式的正则效果越强但也更容易过拟合或产生梯度问题。设置初始化时心里要有这根弦尤其在数据量不大的任务里更倾向使用偏小的方差。5.3 一些值得留意的细节习惯我在实际工作中养成了几个和初始化相关的习惯分享给大家。建模型文件的时候我会在旁边放一个自定义init_weights函数把所有初始化规则集中在一起。不管模型最后搭成什么样apply一遍就到位。打印模型第一轮loss的时候我会顺带打印一下各层输出的均值和标准差。如果某一层输出的std突然比其他层大两个数量级说明那一层初始化或结构设计有问题趁早看比等loss曲线半小时后再后悔强多了。保存模型checkpoint的时候把模型结构以及是否自定义过初始化一起写在配置文件里省得几个月后自己看着权重文件发呆不知道当时的初始化策略是什么。最后如果遇到实在折腾不明白的不收敛问题不妨回到原点做一次“重新初始化zéro学习率测试”把学习率暂时设为0跑一步看看loss是否确定。如果学习率为0时loss都不稳定那基本就是前向传播或者初始化的问题而不是优化器和反向传播的问题。这个排查顺序能帮你省下大量瞎猜的时间。结尾关于参数初始化这件事我现在的态度是它是整个训练流程里性价比最高的一环——改几行代码就能避免几小时甚至几天的无效训练。刚入门的朋友一定要亲手打印几次权重分布看看不同初始化方案下数据的量级差异有经验的朋友则可以花点时间读一读Glorot和He的两篇经典论文再回到PyTorch源码里对照一下默认实现那种“原来如此”的顿悟感是单纯调参给不了的。如果这篇能帮你少走一次弯路那我就没白写。下一篇我打算聊聊学习率调度和优化器选择的联动问题那又是一个同样容易被低估的坑。
神经网络参数初始化全解析：从梯度传播原理到PyTorch实战
训练神经网络这几年我有一多半的“模型不收敛”最终都指向同一个元凶——不是网络搭错了不是学习率没调好也不是数据喂得不对而是参数初始化没做好。很多人把PyTorch当黑盒模型构建完直接传数据、算loss、backward等loss变成了水平线才想起来检查权重。其实在一轮训练开始之前每一层权重分布就已经悄悄决定了后面这条路是康庄大道还是万丈深渊。这篇想把这个主题彻底聊透为什么参数初始化能在训练的第一步就决定成败Xavier和Kaiming这些主流方案背后的数学动机是什么怎样在PyTorch框架下把初始化环节完全握在自己手里以及我在实际项目中踩过的初始化相关的坑。适合刚入门PyTorch和神经网络基础的朋友也适合那些训练过不少模型、却从来没主动干预过初始化的同学。相信我看完你会忍不住去检查自己那几层网络到底是怎么“起跑”的。1. 初始化是第一道关卡从梯度传播看它为啥这么重要很多教程在讲神经网络时把初始化当成一个“选个随机数就行”的步骤一笔带过。但实际上初始化的质量决定了网络在一开始处于损失曲面上的哪个位置也决定了反向传播的梯度信号能不能完整地传回浅层。1.1 一个让模型“学不动”的真实场景先说一个我自己的案例。早年在本地跑一个浅层全连接网络做回归预测结构很简单三个隐藏层每层64个神经元激活函数用ReLU输出层不加激活直接回归。数据归一化做得干干净净学习率从1e-2一路试着降到1e-5loss就是卡在某个值附近一动不动连下降的苗头都没有。排查了很久最后把权重打印出来看分布发现是我在用PyTorch搭网络时手动把权重全部初始化成了均值0、方差特别大的正态分布随机数。前向传播时每一层的输出都在指数级放大到最后一层已经全是几百几千的量级loss直接爆炸式增长梯度也出现了大量NaN。把权重的初始方差降回合理范围之后同一个模型、同一个学习率几十个epoch就正常收敛了。这个案例给我留下一个很深的印象初始化问题往往不会在代码层面爆出红色报错而是以一种“loss死活不降”的慢性病形式出现折腾你几天几夜。想通这一点就会明白我们为什么需要认真对待每一层参数的初始值。1.2 梯度传播中的连乘效应信号如何消失或爆炸要理解初始化先要看一次完整的前向和反向传播中发生了什么。以一个不带偏置的线性层为例输出满足y Wx那一层的输入 x 有 n 个维度输出 y 有 m 个维度。如果 x 的每个分量方差是 Var(x)权重 W 中每个元素的方差是 Var(W)那么 y 中某个分量的方差假设各分量独立大约是Var(y) ≈ n × Var(W) × Var(x)也就是说信号经过一层之后方差被放大了大约 n×Var(W) 倍。为了让信息在多层网络中传递时既不衰减到零、也不膨胀到爆一个自然的目标是让 Var(y) ≈ Var(x)。于是就有了第一个直觉结论Var(W) ≈ 1 / nn 就是这一层的输入维度在初始化理论里叫 fan_in扇入。反向传播是同样的逻辑只是信号变成了梯度。设 loss 对 y 的梯度是 dy那么对 x 的梯度是dx Wᵀ dy此时经过这一层反向传播时梯度的方差由输出维度 mfan_out扇出决定。要让梯度反向传播时保持稳定需要Var(W) ≈ 1 / m前向希望按 fan_in 来定方差反向希望按 fan_out 来定方差两个需求不一致怎么办这就是不同初始化方法分道扬镳的地方。比如Xavier取两者的调和折中Kaiming则根据激活函数特性调整系数。但不管哪种方法核心都是在控制连乘效应的放大倍数让它稳定在1附近。1.3 对称性陷阱所有神经元变成同一个人除了梯度消失和爆炸初始化还藏着一个更隐蔽的陷阱——对称性。如果同一层的所有权重初始化为相同的常数比如全零、全0.1那么这层所有神经元的输入分布完全相同。反向传播计算出的梯度对每个神经元也完全相同。于是无论怎么更新这些神经元永远走一样的路整个隐藏层实际上退化成了一个神经元。这就是为什么“全零初始化”在理论上被明确否定它会让多层网络变成一层单神经元的表达能力。实际工程中没人蠢到全零但不少人会把权重设成全零而忘了偏置或者把线性层和卷积层的偏置习惯性设成全零——这本身没问题只要权重本身是“各不相同”的随机数对称性就被打破了。偏置的初始化和权重逻辑不一样。权重一旦全相同会造成对称退化偏置全零却无伤大雅因为偏置的输入来自前一层的非对称激活值。大多数框架里的默认选项也是“偏置为0”或“很小的随机数”这是合理的。提示随机数只是表象核心是“破坏对称”和“控制方差”这两件事。任何初始化方案本质上都是在回答这两个问题每个参数的方差应该多大在什么范围内取随机数2. 主流初始化方法解析Xavier、Kaiming和其他选手的来龙去脉深度学习研究这么多年初始化方法也就那几款主流选手在打天下。Mike的入门路线图大概是先认识Glorot即Xavier初始化再掌握专为ReLU而生的Kaiming初始化最后了解RNN场景下的正交初始化以及各类偏置、正则化层的处理。2.1 Xavier/Glorot初始化为对称激活函数而生的理论基准2010年Glorot和Bengio在《Understanding the difficulty of training deep feedforward neural networks》里提出了一个著名的方法PyTorch里叫xavier_uniform_和xavier_normal_。它针对的是tanh这类关于原点对称、激活值在0附近的函数。前面说过方差的理想取值要兼顾前向的fan_in和反向的fan_out。Xavier的折中方案是Var(W) 2 / (fan_in fan_out)如果是均匀分布 U(-a, a)均匀分布的方差是 a²/3那么a²/3 2 / (fan_in fan_out)解得a √(6 / (fan_in fan_out))这样xavier_uniform_的标准边界就是W ~ U(-√(6/(fan_infan_out)), √(6/(fan_infan_out)))如果是正态分布直接取均值为0、方差为2/(fan_infan_out)。这套方案有个隐含的假设激活函数在零点附近的斜率接近1比如tanh在0点的导数是1sigmoid在0点的导数是0.25。所以你会发现PyTorch的xavier_系列文档里明确写着“推荐用于tanh和sigmoid类型激活”。如果把它硬套在ReLU上会因为ReLU直接把一半信号砍成0而导致方差不匹配。2.2 Kaiming/He初始化专门给ReLU家族打的补丁2015年何恺明团队在《Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification》中推出了针对ReLU的初始化方案也就是PyTorch里的kaiming_uniform_和kaiming_normal_。ReLU有个特性输入负数时输出恒为0。假设输入x分布关于0对称经过ReLU后约有一半的信号变成了0剩余一半保持原样整体方差大约只有输入的一半。这相当于信号每经过一次ReLU就减半。为了补偿这个衰减Kaiming初始化把权重方差调整为前向模式下Var(W) 2 / fan_in训练过程中前向传播主要使用fan_in模式所以PyTorch的kaiming_normal_默认modefan_in。如果设置modefan_out则方差为2/fan_out适合在需要保持反向梯度方差的场景下使用。对于均匀分布版本边界相应为W ~ U(-√(6/fan_in), √(6/fan_in))注意这里的分母里没有fan_out。我之前见过有人把这个边界和Xavier搞混结果模型浅层梯度衰减严重训练半天loss纹丝不动。如果你用ReLU系激活请认准Kaiming。Leaky ReLU这类带泄漏斜率的激活也适用Kaiming只是参数a要对应设置。PyTorch的kaiming_uniform_支持通过a参数传入负斜率。a√5时前面的计算已经帮偏置提供了一个合理的默认边界这个在官方源码的Linear初始化里也在用。2.3 偏置、BatchNorm和正交初始化容易被忽略的细节偏置初始化经常被忽略但它也有自己的规范。全连接层和卷积层的偏置一般初始化为0即可因为权重已经打破了对称性。PyTorch对Linear的默认偏置初始化并非完全为0而是根据权重的fan_in算出一个边界bound 1 / √(fan_in)然后偏置在U(-bound, bound)内均匀采样。这个设计其实很讲究它让偏置的初始量级和权重的输出量级匹配避免网络初期输出分布发生大偏移。BatchNorm层的初始化就更特殊了权重缩放系数γ初始化为1偏置平移系数β初始化为0。这意味着BatchNorm在训练初期保持输入分布的归一化状态先让网络“见见原貌”再逐步学习缩放和平移的必要性。如果你在加载别人代码时看到把BatchNorm的γ乱设成大数模型通常很难收敛。RNN和LSTM这类循环结构还经常使用正交初始化。正交矩阵的列向量彼此垂直有一个很好的性质矩阵乘法不会扩大或压缩向量长度。这能在长期依赖传播中缓解梯度消失让信息沿着时间步传得更远。PyTorch的nn.init.orthogonal_就干这个活儿。不是说你非用不可但在训练较长序列时让遗忘门偏置初始化为较大正值、让输入门偏置初始化为较小值再配合正交权重实际效果会明显更稳。提示第2节最后给个选择逻辑——激活函数是tanh/sigmoid时优先Xavier是ReLU/LeakyReLU时选Kaiming是RNN/LSTM时可在权重上加正交初始化。这三条基本覆盖了绝大多数网络。3. PyTorch初始化实操从默认规则到完全掌控理论讲再多最终要落到代码。PyTorch给了我们几层控制权默认初始化、nn.init工具函数、apply批量处理、以及重写reset_parameters。我从易到难逐个说。3.1 先搞清楚框架默认做了什么很多人不知道PyTorch在创建模型时已经做了初始化。比如nn.Linear和nn.Conv2d默认权重使用kaiming_uniform_bias默认使用U(-1/√fan_in, 1/√fan_in)。这对大多数ReLU网络其实是够用的。想确认自己模型每一层的默认初始化长什么样可以打印weight的均值和标准差或者用m.weight.data.histc()看看分布。这里有个实用小技巧在第一次前向传播前把模型各层参数的均值、标准差逐层打印出来一眼就能判断有没有层被初始化成了明显不合理的量级。3.2 nn.init的API清单动手改初始化PyTorch的torch.nn.init模块提供了一套非常完整的函数。下面是常用的几个我把它们的核心用途列出来xavier_uniform_(tensor, gain1)适合tanh/sigmoid均匀分布版本xavier_normal_(tensor, gain1)适合tanh/sigmoid正态分布版本kaiming_uniform_(tensor, a0, modefan_in, nonlinearityleaky_relu)适合ReLU/LeakyReLUkaiming_normal_(tensor, a0, modefan_in, nonlinearityleaky_relu)同上正态分布版本orthogonal_(tensor, gain1)适合RNN/LSTMones_(tensor)、zeros_(tensor)给偏置或BatchNorm的γ赋值constant_(tensor, val)固定常数eye_(tensor)单位矩阵初始化偶尔用于特定的注意力层使用方式也很直接拿到一个weight之后重新赋值即可import torch import torch.nn as nn linear nn.Linear(128, 64) nn.init.kaiming_normal_(linear.weight, modefan_in, nonlinearityrelu) nn.init.zeros_(linear.bias)需要注意kaiming系列有nonlinearity参数如果你漏传了默认是leaky_relua默认0。如果实际激活是普通ReLU建议显式写nonlinearityrelu避免把自己绕晕。实际上对于a0leaky_relu和relu的数学计算完全等价但因为源码走的分支略有不同显式写relu更语义化、更安全。3.3 用model.apply批量接管整个模型的初始化一个模型几十上百层不可能每层手动去改。PyTorch提供了module.apply方法它会递归地把传入的匿名函数作用在每个子模块上。这是实战中最常用的一招import torch.nn as nn def init_weights(module): acts (nn.Linear, nn.Conv1d, nn.Conv2d, nn.Conv3d) if isinstance(module, acts): nn.init.kaiming_normal_(module.weight, modefan_in, nonlinearityrelu) if module.bias is not None: nn.init.zeros_(module.bias) elif isinstance(module, nn.BatchNorm2d): nn.init.ones_(module.weight) nn.init.zeros_(module.bias) model nn.Sequential( nn.Conv2d(3, 16, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Flatten(), nn.Linear(16 * 14 * 14, 10) ) model.apply(init_weights)init_weights会被每个子模块调用一次里面的isinstance判断决定当前子模块走哪条初始化规则。BatchNorm2d的γ设为1、β设为0卷积权重用kaiming_normal_偏置置零。这个做法的好处是集中管理。改初始化策略时只需要改init_weights一个函数而不是去动每个层定义。我习惯把init_weights放在模型文件最上方作为一个独立工具函数修改时一目了然。3.4 覆盖reset_parameters进阶玩法还有一种更“面向对象”的方式就是重写你的自定义模块里的reset_parameters方法。PyTorch在每次创建模块时都会调用这个方法。以自定义一个MLP块为例import math import torch import torch.nn as nn class MyMLPBlock(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.fc1 nn.Linear(in_dim, out_dim) self.relu nn.ReLU() def reset_parameters(self): nn.init.kaiming_uniform_(self.fc1.weight, amath.sqrt(5)) nn.init.zeros_(self.fc1.bias) def forward(self, x): return self.relu(self.fc1(x))执行这个模块的实例化时PyTorch会自动调用reset_parameters。如果你什么都不写默认会调用父类nn.Module的reset_parameters对新创建的层执行框架默认初始化。重写之后就完全由你说了算。我见过一些开源代码直接在__init__里初始化权重不写reset_parameters。这有个小隐患如果你后续想用model.apply重设整个模型的权重而那些层又没有暴露apply能识别的结构你的自定义层可能漏掉初始化。覆盖reset_parameters配合apply是更规范的组合。4. 初始化不当的典型症状与排查路径前面讲了这么多原理下面说说实际运行中最常遇到的问题。初始化的问题不会像语法错误那样直接抛异常它往往通过loss曲线和梯度统计来表达不满。掌握这套“病理学”非常值钱。4.1 从loss曲线形态判断初始化病情我见过最常见的情况有三种症状和“病因”对比如下症状可能病因解决方向loss初始值就是天文数字比如MSE回归初始loss上万输出层或隐藏层权重方差过大前向输出爆炸缩小初始标准差检查是否有未初始化的自定义层loss从训练开始就完全不下降平稳如直线梯度消失或权重对称信号传不到浅层切换为与激活函数匹配的初始化方法loss初期剧烈震荡像心电图一样极端波动初始方差偏大接近“混沌”状态用Xavier/Kaiming的std或bound再减半训练跑了十几个epoch后突然出现NaN初始化偏大叠加学习率偏高训练中期梯度爆炸降低学习率暂时缩小权重初始化方差其中“loss初始值就是天文数字”这条特别容易骗到新手。有人看到初始loss几万第一反应是改学习率或者改模型结构其实只要把最后一层权重初始化方差调小一点loss立刻正常。4.2 逐层梯度检查快速定位是哪层出了问题如果你怀疑初始化有问题最直接的办法是打印每一层的梯度范数。PyTorch里可以用反向传播后的grad属性查看for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.norm().item() if grad_norm 1e-6: print(f{name}: grad norm too small, {grad_norm:.2e}) elif grad_norm 1e2: print(f{name}: grad norm too large, {grad_norm:.2e})把这段代码塞进训练循环里跑一个step之后看结果。如果靠近输出层的参数梯度正常、靠近输入层的梯度极小说明信号在反向传播途中“熄灭”了典型的梯度消失大概率是激活函数和初始化不匹配。如果靠近输入层的梯度极大、靠近输出层的梯度正常说明梯度在传播过程中被不断放大这时应优先检查是否有层被初始化的方差过大或者学习率是不是太高。还有一个应该养成的好习惯在第一次backward之后顺手打印一下全模型的梯度范数总和total_grad_norm sum(p.grad.norm().item() ** 2 for p in model.parameters() if p.grad is not None) ** 0.5 print(ftotal grad norm: {total_grad_norm:.3f})总梯度范数稳定在一个合理范围比如个位数到几十训练通常健康。如果这个值在1e-4以下或1e4以上基本可以断定初始化或学习率配置有问题。4.3 三个我踩过且容易复现的坑先说第一个坑在自定义模块里创建层时忘了调用reset_parameters或做任何初始化。PyTorch对nn.Linear、nn.Conv这些内置层会自动初始化但如果你继承autograd.Function或者手动创建Parameter例如class MyLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.weight nn.Parameter(torch.empty(in_dim, out_dim))然后忘了给weight赋值这里面的内存数据就会是“未定义”的随机垃圾值可能是天大的正数也可能是NaN。正确的做法是立刻做初始化nn.init.kaiming_uniform_(self.weight, amath.sqrt(5))第二个坑用了Xavier初始化配ReLU激活。深层网络里前向信号被ReLU不断砍半后向梯度也跟着衰减几十层之后几乎传不回去。典型表现就是深层CNN训练特别慢浅层权重梯度几乎为零我实际项目中栽过跟头换Kaiming之后收敛速度天壤之别。第三个坑Transformer场景下不看输出方差直接用Kaiming初始化整个模型。Transformer里的注意力层涉及矩阵乘法和softmaxKaiming那套“为ReLU设计”的理论在这里并不完全适用。更合理的做法是配合更小的标准差比如0.02或者干脆依赖位置编码和LayerNorm的配合。前两年我调过一个小的Transformer用Xavier初始化注意力权重训练初期整个注意力分布全成了one-hotloss疯狂震荡改成0.02标准差后平稳了许多。这说明初始化不能脱离具体结构选型不要死板。提示排查初始化问题的正确顺序是先看初始loss是否处于合理区间再看第一轮训练后的梯度范数是否健康最后才调整学习率和优化器参数。别一上来就乱试超参数那会同时掩盖多个问题。5. 不同网络结构的初始化选型与实战心得到了这一节我想把实践中的经验汇总一下给出可以直接抄作业的选型建议和几个心法。5.1 初始化选型速查表一个相对稳妥的参考配置如下网络结构常用初始化偏置/特殊处理MLPReLUkaiming_normal_fan_inbias0MLPtanhxavier_normal_或xavier_uniform_bias0CNNReLUkaiming_normal_fan_inconv bias0BN γ1 β0LSTM/RNN正交初始化或xavier_uniform_遗忘门bias偏大如1.0Transformer各层标准差可取0.02或xavier_uniform_需配合LayerNorm和warmup迁移学习微调继承预训练参数不对主干重置新增分类头用较小随机值这张表偏保守但能保证你在大多数任务里起步不翻车。这里多说一句迁移学习微调的场景。很多人从头训练一个在预训练模型基础上加分类头的网络时会习惯性地调用model.apply把所有层重置一遍结果把预训练权重全冲掉了。这是非常痛的教训。迁移学习的正确做法是预训练主干保持不动只在新增层上做温和的随机初始化。因为预训练权重已经蕴含了良好的特征表示重新初始化等于毁掉这份资产。5.2 初始化与学习率、正则化的联动关系初始化从来不是一个孤立变量。我慢慢发现它和学习率之间存在明显的“联席效应”如果初始化方差偏大即使学习率很小训练过程也可能震荡如果初始化方差偏小又需要更大的学习率来弥补初期梯度过小的问题。所以调整初始化的时候要有意识地去配合学习率。我的习惯是先锁定一种合理的初始化方法再把学习率放在一个中间值比如1e-3或3e-4然后只动一个变量确认效果后再动另一个。很多人喜欢同时改一堆超参数到最后出了问题根本不知道是谁的锅。初始化对正则化也有微妙的影响。权重初始方差越大相当于模型一开始的“带宽”越宽隐式的正则效果越强但也更容易过拟合或产生梯度问题。设置初始化时心里要有这根弦尤其在数据量不大的任务里更倾向使用偏小的方差。5.3 一些值得留意的细节习惯我在实际工作中养成了几个和初始化相关的习惯分享给大家。建模型文件的时候我会在旁边放一个自定义init_weights函数把所有初始化规则集中在一起。不管模型最后搭成什么样apply一遍就到位。打印模型第一轮loss的时候我会顺带打印一下各层输出的均值和标准差。如果某一层输出的std突然比其他层大两个数量级说明那一层初始化或结构设计有问题趁早看比等loss曲线半小时后再后悔强多了。保存模型checkpoint的时候把模型结构以及是否自定义过初始化一起写在配置文件里省得几个月后自己看着权重文件发呆不知道当时的初始化策略是什么。最后如果遇到实在折腾不明白的不收敛问题不妨回到原点做一次“重新初始化zéro学习率测试”把学习率暂时设为0跑一步看看loss是否确定。如果学习率为0时loss都不稳定那基本就是前向传播或者初始化的问题而不是优化器和反向传播的问题。这个排查顺序能帮你省下大量瞎猜的时间。结尾关于参数初始化这件事我现在的态度是它是整个训练流程里性价比最高的一环——改几行代码就能避免几小时甚至几天的无效训练。刚入门的朋友一定要亲手打印几次权重分布看看不同初始化方案下数据的量级差异有经验的朋友则可以花点时间读一读Glorot和He的两篇经典论文再回到PyTorch源码里对照一下默认实现那种“原来如此”的顿悟感是单纯调参给不了的。如果这篇能帮你少走一次弯路那我就没白写。下一篇我打算聊聊学习率调度和优化器选择的联动问题那又是一个同样容易被低估的坑。
