1. 反向传播不是难而是乱——先把计算图这盘棋看清很多人第一次接触误差反向传播法被一堆偏导公式劝退觉得这是块硬骨头。我的真实感受是反向传播的数学并不难难的是脑子里那团乱麻——前向传播的数据流还没理顺又要倒着推梯度很容易绕晕。所以我想先带你把棋盘看清楚。神经网络不管多复杂本质上就是一个函数嵌套输入经过若干层变换最后算出一个损失值。前向传播是从前往后算输出反向传播是从后往前算梯度。两者走的是同一条路方向相反。这个同一条路非常关键。你可以把网络想象成一条多级流水线原料从入口进去经过一道道工序变成成品质检员在出口算出次品率。现在要改进每一道工序的参数怎么改不是把每道工序单独拆开来试错而是从质检结果出发把次品率对每道工序参数的影响程度逐级往回传。每一道工序只需要知道下游传来的影响程度再加上自己这道工序的性质就能算出自己该负多大责任。这就是计算图给我的最大启发反向传播之所以高效是因为它把整个网络的梯度计算拆成了一个一个局部小任务每个小任务只跟相邻节点有关。你不需要一次搞懂整个网络你只需要搞懂每一小块积木如何接收上游信息、加工后再传给下游。以这个思路重新看链式法则它就不再是数学课上一个抽象的公式而是流水线上传递的一张责任单。假设有个函数 y f(g(h(x)))你想知道 y 对 x 的变化有多敏感那就是 dy/dx dy/dg * dg/dh * dh/dx。每一级把自己的局部导数乘到上游传来的梯度上一路乘到最开头梯度就传完了。反向传播做的正是这件事只不过把 x 换成了成千上万个参数把 f、g、h 换成了矩阵乘法、激活函数、损失函数。我还记得自己第一次手推一个两层网络的反向传播时最大的认知转变是原来我不用显式写出整个网络的梯度表达式。网络有十层、一百层我都不可能写出一个统一的闭式表达式但逐层接力的方式让我永远只需要处理当前这一层的局部计算。这就是乐高积木的搭建逻辑——你不需要一块完整的大板子你只需要一堆能互相咬合的标准件一块一块拼上去。2. 每块积木都要会三件事——层对象的设计准则要用搭乐高的方式实现神经网络第一步不是写网络而是先定义积木的标准接口。乐高积木之所以能无限拼搭是因为每块积木的凸起和凹槽都是标准化的。神经网络里的标准化接口是什么就是每一层必须实现三件事初始化、前向传播、反向传播。以我惯用的实现方式为例这里用 Python 风格的伪代码说明逻辑比语法重要class Layer: def __init__(self): self.params {} # 该层可训练参数如权重和偏置 self.grads {} # 对应参数的梯度 self.cache {} # 前向传播时要存下来供反向用的中间值 def forward(self, x): # 输入 x经过本层变换输出 y # 同时在 cache 里记录反向传播需要的数据 raise NotImplementedError def backward(self, dout): # dout 是损失值对当前层输出的梯度 # 要返回损失值对当前层输入的梯度 dx # 同时把对参数的梯度存入 self.grads raise NotImplementedError这个接口就是乐高积木的凸起和凹槽。forward 接收输入、给出输出backward 接收输出端的梯度、给出输入端的梯度和参数梯度。每个层只需要实现这两个方法就可以像积木一样被任意拼装组合。为什么要设计成这个样子因为整个反向传播过程里层和层之间只传递一个东西梯度。每层不需要知道后面有几层、前面是什么只需要知道上游传给我的梯度是多少。这种局部性让代码的可复用性和可测试性大大提升也让我后来加新网络结构时几乎不用改旧代码。还有一点容易被忽略forward 里必须在 cache 中记录一些中间结果。比如全连接层 y xW b反向传播时需要用到 x 的值来计算对 W 的梯度ReLU 层反向传播时需要知道哪些位置是正数。这些中间结果如果不缓存就需要在 backward 时重算一遍前向那计算量直接翻倍而且代码会更乱。我自己的习惯是只要 forward 算出来的某个量在 backward 里要用就无脑存进 cache。我见过不少初学者把 forward 和 backward 写成两个毫不相干的函数各算各的结果调试的时候对不上账。其实正向是搭积木反向就是逆向拆积木——你拆的时候要知道每一块是怎么搭上去的所以搭的过程必须留下记录这就是 cache 存在的意义。拿 ReLU 层举个例子它没有参数只有两个方向的信息传递class ReLU: def forward(self, x): self.cache[mask] (x 0) return x * self.cache[mask] def backward(self, dout): return dout * self.cache[mask]就这么简单。正数位置的梯度原样通过负数位置的梯度清零。没有参数层这么清爽但已经能让你感受到积木接口的威力——ReLU 不用关心上游是卷积层还是全连接层它只需要做自己这一件事。3. 从单个神经元到完整网络搭积木的关键在收梯度先说透一个最简单的例子你真的理解它了整个反向传播就通了一半。假设我们只有一个神经元输入是 x权重是 w偏置是 b激活函数是 sigmoid损失是均方误差。前向传播就是z wx b a sigmoid(z) L 0.5 * (a - y)^2反向传播从 L 开始往回推。第一步L 对 a 的梯度是 a - y这里用 0.5 的系数就是为了让求导结果干净。第二步a 对 z 的梯度是 a * (1 - a)这是 sigmoid 的导数性质。所以损失对 z 的梯度就是 (a - y) * a * (1 - a)。第三步z 对 w 的梯度是 x对 b 的梯度是 1。于是dL/dw (a - y) * a * (1-a) * x dL/db (a - y) * a * (1-a)看到没有整个过程中间那个公因子——损失对 z 的梯度——被反复使用。它就是往上传递的责任单每一层拿到上游梯度乘上自己这层局部的导数再往上传。所谓收梯度本质上就是每个层都要把上游的梯度收下来算好自己的局部导数得到对输入的梯度然后递给前一层。有了这个直觉我们再搭一个真正的两层网络。输入层 - 隐藏层全连接 ReLU- 输出层全连接 Softmax损失用交叉熵。前向传播的代码骨架长这样class TwoLayerNet: def __init__(self, input_size, hidden_size, output_size): self.fc1 FullyConnected(input_size, hidden_size) self.relu ReLU() self.fc2 FullyConnected(hidden_size, output_size) self.softmax_loss SoftmaxWithLoss() def forward(self, x, y): h1 self.fc1.forward(x) a1 self.relu.forward(h1) h2 self.fc2.forward(a1) loss self.softmax_loss.forward(h2, y) return loss def backward(self): dout self.softmax_loss.backward() dout self.fc2.backward(dout) dout self.relu.backward(dout) dout self.fc1.backward(dout)注意 backward 的顺序和 forward 正好相反这就是反向传播四个字的字面含义。每一层收下上游梯度算好自己的参数梯度再把对输入的梯度往下一层其实是上一层传。这里我想重点说一个把无数人坑过的细节softmax 和交叉熵损失要合并成一个层来实现。为什么不分开两个原因。第一是数值稳定性。softmax 算概率时要做 exp(z)如果某一路的 logit 很大exp 会直接爆成无穷大。标准做法是在 softmax 里对 logits 减去最大值再算 exp。第二是梯度形式会变得异常简单。如果分开求你要先算交叉熵对 softmax 输出的梯度再算 softmax 对输入的梯度两层复合式子繁琐合并成一个 SoftmaxWithLoss 层它的反向传播结果直接就是 (softmax(z) - y)也就是预测概率减去独热标签简洁到近乎优雅。这个结果其实有直觉解释输出层的误差 模型的预测和真实答案的差。深度学习框架里你经常看到一行 loss.backward()背后做的就是这个收梯度的过程。搭建完整的训练循环时别忘了还有一个容易被忽略的环节参数更新。反向传播给你的是梯度不是更新后的参数。最朴素的做法是拿梯度乘以一个学习率然后从参数里减掉for layer in [self.fc1, self.fc2]: for name in layer.params: layer.params[name] - learning_rate * layer.grads[name]这一步不属于层接口的一部分我习惯单独写一个优化器来处理。这样层、损失、优化器的职责就分清了层负责算梯度优化器负责更新参数。4. 搭好了怎么知道没搭歪数值梯度检查是唯一靠谱的试金石这里必须泼一盆冷水手写反向传播你几乎不可能一次写对。连我这种写过无数次的人换个新结构照样会漏掉某个转置、某个维度对齐。所以千万不要写完就直接上数据集训先用数值梯度检查把每一块积木验一遍。数值梯度的思路简单粗暴导数的定义不就是极限嘛。对于某个参数 θ在 θ 上加一个极小的 ε看损失函数怎么变数值梯度 ≈ (L(θ ε) - L(θ - ε)) / (2ε)这就是中心差分它比单边差分 (L(θε) - L(θ)) / ε 的误差小一个数量级。在反向传播实现有疑问时数值梯度是唯一的参考答案。实现起来也很直接def check_gradient(model, x, y, eps1e-5, threshold1e-4): model.forward(x, y) model.backward() for name, param in model.fc1.params.items(): numerical np.zeros_like(param) it np.nditer(param, flags[multi_index]) while not it.finished: idx it.multi_index old param[idx] param[idx] old eps l1 model.forward(x, y) param[idx] old - eps l2 model.forward(x, y) numerical[idx] (l1 - l2) / (2 * eps) param[idx] old it.iternext() diff np.abs(numerical - model.grads[name]) print(name, diff.max())注意这里 forward 的时候要避免随机性比如 Dropout 层就得先切到测试模式或者干脆先不引入随机层。数值梯度的检查原理很简单但它有两个坑你必须知道。第一个坑ReLU 在 x0 处不可导。如果你初始化的权重恰好让某个神经元的输入为 0数值梯度算出来可能和反向传播对不上。解决办法是检查前确保权重偏离 0 点足够远或者干脆多跑几次随机初始化。第二个坑数值梯度对浮点精度非常敏感。ε 太小数值噪声主导ε 太大截断误差变大。一般取 1e-5 到 1e-7 这个范围我用 1e-5 比较多。还有一个非常隐蔽、但真实存在的错误backward 里把多次传播的梯度方向搞反或者对共享参数盲目赋值覆盖而非累加。当一个参数被多个路径共享时比如某些网络设计里同一个权重矩阵被用了两次反向传播的梯度应该是两条路径的梯度之和。如果你用而不是梯度检查一定过不了。遇到这类问题我通常的策略是逐层检查先让网络只用一层确认这一层正确再逐步加上去。乐高积木的另一个好处在这体现出来了——每个积木块都是独立可验证的。我建议代码刚写完时固定用一个小批数据跑一次梯度检查误差超过 1e-4 就要追查。如果误差在 1e-7 量级说明实现基本正确。别嫌这一步麻烦我见过太多人省了这个步骤然后损失曲线不下降、精度卡在 10% 左右回头查 bug 的时间是检查梯度的十倍不止。5. 能跑通不等于能学会——训练中的三类经典翻车现场梯度检查通过网络能前向能反向损失也在下降但训练结果不理想这是绝大多数新手都会遇到的下一个阶段。我在实践中总结了三类最常见的翻车每一个我都亲手踩过。第一类学习率设置不当。学习率太大参数在最优值附近来回震荡损失曲线像锯齿一样上下乱跳极端情况下直接发散成 NaN学习率太小训练慢得像蜗牛迭代了几百轮损失几乎不动。我的经验是先用 0.01 这个量级试跑观察前 100 个 batch 的损失变化如果损失在下降就能用如果波动剧烈就调小到 0.001 或者 0.003如果完全不动考虑调大。遇到 NaN第一个要查的就是学习率第二个查的是损失函数里有没有算 log(0) 这类数值问题。第二类权重初始化不当。如果把所有权重初始化为 0那么同一个全连接层里所有神经元的前向输出相同、反向梯度也相同训练再久所有神经元也是对称的模型表达能力直接被阉割成所有神经元等价。正确的做法是用小随机数初始化比如从均值为 0、标准差为 0.01 的正态分布采样。这样初始时所有神经元处于不同的状态训练才可能让它们各司其职。深层网络里初始化还要更讲究比如 He 初始化、Xavier 初始化核心思想都是让前向传播的方差在各层之间保持稳定避免梯度消失或爆炸。第三类过拟合。训练集精度 99%测试集精度只有 85%典型症状是训练集上效果越好、测试集和训练集的差距越大。反向传播本身不解决过拟合它只是把训练集上的损失压下来。这时你需要正则化手段加 L2 正则化在损失函数里加上权重的平方和乘以一个系数、加 Dropout训练时随机丢弃部分神经元、早停一旦测试精度不再提升就停止训练。我个人的顺序是先看训练集能不能拟合到一个比较高的精度再看测试集。训练集都学不好先解决欠拟合问题加大网络、调学习率、加大迭代轮数训练集学得很好、测试集不行再上正则化手段。还有一个常见的现象训练时 loss 一开始下降正常到某个阶段突然上扬。很多新手以为是网络坏了其实可能是学习率在这个阶段偏大参数越过了损失曲面的鞍点后陷入了另一个更陡的区域。你可以试试把学习率按 epoch 衰减比如每 20 轮乘以 0.9让模型在后期更精细地收敛。训练这类问题最有效的诊断工具就是曲线。我会同时画两张图一张训练损失随迭代次数的变化一张训练/测试准确率随迭代次数的变化。损失曲线告诉你优化过程顺畅不顺畅准确率曲线告诉你模型是否真的学到了泛化知识。曲线本身不会骗人绝大多数训练问题第一眼都能在图上看出苗头。6. 模块化设计的红利从两层网络到 CNN 只差两块新积木我记得自己第一次搭出上图结构的两层网络并在 MNIST 手写数字数据集上跑出 97% 的准确率时那种成就感是难以形容的。但这个成就感带来的更深远的影响是我突然发现从两层全连接网络到卷积神经网络原来只需要再做两件小事——定义两个新的积木块。第一块新的积木叫卷积层。卷积的本质和全连接层的区别并不在于能否反向传播而在于它的连接方式每个输出位置只与输入的一个局部窗口相连而且所有窗口共享同一套权重。这个设计天然适合图像数据因为图像里相邻像素有强烈相关性。卷积层的前向就是一个个局部窗口的加权求和反向传播时把上游梯度按照窗口位置映射回输入端的对应位置同时累加出卷积核的梯度。只要你理解了层只负责局部计算卷积层并不比全连接层难多少只是索引处理要小心。第二块新的积木叫池化层。池化层更简单——最大池化的前向是取窗口内最大值反向传播时只需要把梯度传给那个在最大值位置上的输入其余位置梯度为 0。均值池化则是把梯度平均分给窗口内所有位置。一个池化层的 backward 可能连十行代码都不到。这里体现出了整个模块化设计的核心红利反向传播算法本身不关心你的层做了什么线性运算还是非线性运算它只要求这个运算是可微的、它的局部导数是可算的。只要满足这两点任何新结构都可以作为新积木插进现有框架。后来我对比过手写实现和 PyTorch 的实现发现思路完全一致——PyTorch 里继承nn.Module自定义层本质上就是在造新积木只需要实现forward自动微分框架帮你实现了 backward。理解底层的反向传播你才能真正理解 PyTorch 里requires_grad、backward()、optimizer.step()这些 API 背后到底发生了什么。不过要用代码实现一个适合手写的卷积层还是有一些细节值得注意。最直觉的实现方式是四层循环遍历样本数、遍历输出通道、遍历输出高度、遍历输出宽度在循环内部把每个输出位置的加权和算出来。前向和反向都按这个模式代码会很长但易于理解。我之前一度试图直接照抄框架里的向量化实现发现逻辑完全理不清后来干脆先用循环版本跑通正确性再逐步替换成矩阵运算版本。这种渐进式优化思路值得推荐——先把积木搭对再去考虑拼得有多炫。从两层网络到 CNN再到后来给 RNN、LSTM 之类的结构手写反向传播我都没有换过主框架只是不断地给积木盒增加新的标准件。这就是乐高最奇妙的地方同样的接口无限的可能。你的知识体系里每增加一种新结构你就知道它只需要满足前向可算、反向可导就够了返回来的直觉和工具储备反而是最值钱的部分。我建议每个想搞懂深度学习的同学都能亲手走一遍手搓反向传播这条路。你会发现那些高深的术语、花哨的框架不过是一块块标准积木的组合。你理解了每一块的接口、每一块的局部计算整个深度学习的拼图就自然在你心里铺展开了。这条路值得每一个认真学神经网络的人走一遍。
手写反向传播与模块化神经网络：从计算图到梯度检查的完整指南
1. 反向传播不是难而是乱——先把计算图这盘棋看清很多人第一次接触误差反向传播法被一堆偏导公式劝退觉得这是块硬骨头。我的真实感受是反向传播的数学并不难难的是脑子里那团乱麻——前向传播的数据流还没理顺又要倒着推梯度很容易绕晕。所以我想先带你把棋盘看清楚。神经网络不管多复杂本质上就是一个函数嵌套输入经过若干层变换最后算出一个损失值。前向传播是从前往后算输出反向传播是从后往前算梯度。两者走的是同一条路方向相反。这个同一条路非常关键。你可以把网络想象成一条多级流水线原料从入口进去经过一道道工序变成成品质检员在出口算出次品率。现在要改进每一道工序的参数怎么改不是把每道工序单独拆开来试错而是从质检结果出发把次品率对每道工序参数的影响程度逐级往回传。每一道工序只需要知道下游传来的影响程度再加上自己这道工序的性质就能算出自己该负多大责任。这就是计算图给我的最大启发反向传播之所以高效是因为它把整个网络的梯度计算拆成了一个一个局部小任务每个小任务只跟相邻节点有关。你不需要一次搞懂整个网络你只需要搞懂每一小块积木如何接收上游信息、加工后再传给下游。以这个思路重新看链式法则它就不再是数学课上一个抽象的公式而是流水线上传递的一张责任单。假设有个函数 y f(g(h(x)))你想知道 y 对 x 的变化有多敏感那就是 dy/dx dy/dg * dg/dh * dh/dx。每一级把自己的局部导数乘到上游传来的梯度上一路乘到最开头梯度就传完了。反向传播做的正是这件事只不过把 x 换成了成千上万个参数把 f、g、h 换成了矩阵乘法、激活函数、损失函数。我还记得自己第一次手推一个两层网络的反向传播时最大的认知转变是原来我不用显式写出整个网络的梯度表达式。网络有十层、一百层我都不可能写出一个统一的闭式表达式但逐层接力的方式让我永远只需要处理当前这一层的局部计算。这就是乐高积木的搭建逻辑——你不需要一块完整的大板子你只需要一堆能互相咬合的标准件一块一块拼上去。2. 每块积木都要会三件事——层对象的设计准则要用搭乐高的方式实现神经网络第一步不是写网络而是先定义积木的标准接口。乐高积木之所以能无限拼搭是因为每块积木的凸起和凹槽都是标准化的。神经网络里的标准化接口是什么就是每一层必须实现三件事初始化、前向传播、反向传播。以我惯用的实现方式为例这里用 Python 风格的伪代码说明逻辑比语法重要class Layer: def __init__(self): self.params {} # 该层可训练参数如权重和偏置 self.grads {} # 对应参数的梯度 self.cache {} # 前向传播时要存下来供反向用的中间值 def forward(self, x): # 输入 x经过本层变换输出 y # 同时在 cache 里记录反向传播需要的数据 raise NotImplementedError def backward(self, dout): # dout 是损失值对当前层输出的梯度 # 要返回损失值对当前层输入的梯度 dx # 同时把对参数的梯度存入 self.grads raise NotImplementedError这个接口就是乐高积木的凸起和凹槽。forward 接收输入、给出输出backward 接收输出端的梯度、给出输入端的梯度和参数梯度。每个层只需要实现这两个方法就可以像积木一样被任意拼装组合。为什么要设计成这个样子因为整个反向传播过程里层和层之间只传递一个东西梯度。每层不需要知道后面有几层、前面是什么只需要知道上游传给我的梯度是多少。这种局部性让代码的可复用性和可测试性大大提升也让我后来加新网络结构时几乎不用改旧代码。还有一点容易被忽略forward 里必须在 cache 中记录一些中间结果。比如全连接层 y xW b反向传播时需要用到 x 的值来计算对 W 的梯度ReLU 层反向传播时需要知道哪些位置是正数。这些中间结果如果不缓存就需要在 backward 时重算一遍前向那计算量直接翻倍而且代码会更乱。我自己的习惯是只要 forward 算出来的某个量在 backward 里要用就无脑存进 cache。我见过不少初学者把 forward 和 backward 写成两个毫不相干的函数各算各的结果调试的时候对不上账。其实正向是搭积木反向就是逆向拆积木——你拆的时候要知道每一块是怎么搭上去的所以搭的过程必须留下记录这就是 cache 存在的意义。拿 ReLU 层举个例子它没有参数只有两个方向的信息传递class ReLU: def forward(self, x): self.cache[mask] (x 0) return x * self.cache[mask] def backward(self, dout): return dout * self.cache[mask]就这么简单。正数位置的梯度原样通过负数位置的梯度清零。没有参数层这么清爽但已经能让你感受到积木接口的威力——ReLU 不用关心上游是卷积层还是全连接层它只需要做自己这一件事。3. 从单个神经元到完整网络搭积木的关键在收梯度先说透一个最简单的例子你真的理解它了整个反向传播就通了一半。假设我们只有一个神经元输入是 x权重是 w偏置是 b激活函数是 sigmoid损失是均方误差。前向传播就是z wx b a sigmoid(z) L 0.5 * (a - y)^2反向传播从 L 开始往回推。第一步L 对 a 的梯度是 a - y这里用 0.5 的系数就是为了让求导结果干净。第二步a 对 z 的梯度是 a * (1 - a)这是 sigmoid 的导数性质。所以损失对 z 的梯度就是 (a - y) * a * (1 - a)。第三步z 对 w 的梯度是 x对 b 的梯度是 1。于是dL/dw (a - y) * a * (1-a) * x dL/db (a - y) * a * (1-a)看到没有整个过程中间那个公因子——损失对 z 的梯度——被反复使用。它就是往上传递的责任单每一层拿到上游梯度乘上自己这层局部的导数再往上传。所谓收梯度本质上就是每个层都要把上游的梯度收下来算好自己的局部导数得到对输入的梯度然后递给前一层。有了这个直觉我们再搭一个真正的两层网络。输入层 - 隐藏层全连接 ReLU- 输出层全连接 Softmax损失用交叉熵。前向传播的代码骨架长这样class TwoLayerNet: def __init__(self, input_size, hidden_size, output_size): self.fc1 FullyConnected(input_size, hidden_size) self.relu ReLU() self.fc2 FullyConnected(hidden_size, output_size) self.softmax_loss SoftmaxWithLoss() def forward(self, x, y): h1 self.fc1.forward(x) a1 self.relu.forward(h1) h2 self.fc2.forward(a1) loss self.softmax_loss.forward(h2, y) return loss def backward(self): dout self.softmax_loss.backward() dout self.fc2.backward(dout) dout self.relu.backward(dout) dout self.fc1.backward(dout)注意 backward 的顺序和 forward 正好相反这就是反向传播四个字的字面含义。每一层收下上游梯度算好自己的参数梯度再把对输入的梯度往下一层其实是上一层传。这里我想重点说一个把无数人坑过的细节softmax 和交叉熵损失要合并成一个层来实现。为什么不分开两个原因。第一是数值稳定性。softmax 算概率时要做 exp(z)如果某一路的 logit 很大exp 会直接爆成无穷大。标准做法是在 softmax 里对 logits 减去最大值再算 exp。第二是梯度形式会变得异常简单。如果分开求你要先算交叉熵对 softmax 输出的梯度再算 softmax 对输入的梯度两层复合式子繁琐合并成一个 SoftmaxWithLoss 层它的反向传播结果直接就是 (softmax(z) - y)也就是预测概率减去独热标签简洁到近乎优雅。这个结果其实有直觉解释输出层的误差 模型的预测和真实答案的差。深度学习框架里你经常看到一行 loss.backward()背后做的就是这个收梯度的过程。搭建完整的训练循环时别忘了还有一个容易被忽略的环节参数更新。反向传播给你的是梯度不是更新后的参数。最朴素的做法是拿梯度乘以一个学习率然后从参数里减掉for layer in [self.fc1, self.fc2]: for name in layer.params: layer.params[name] - learning_rate * layer.grads[name]这一步不属于层接口的一部分我习惯单独写一个优化器来处理。这样层、损失、优化器的职责就分清了层负责算梯度优化器负责更新参数。4. 搭好了怎么知道没搭歪数值梯度检查是唯一靠谱的试金石这里必须泼一盆冷水手写反向传播你几乎不可能一次写对。连我这种写过无数次的人换个新结构照样会漏掉某个转置、某个维度对齐。所以千万不要写完就直接上数据集训先用数值梯度检查把每一块积木验一遍。数值梯度的思路简单粗暴导数的定义不就是极限嘛。对于某个参数 θ在 θ 上加一个极小的 ε看损失函数怎么变数值梯度 ≈ (L(θ ε) - L(θ - ε)) / (2ε)这就是中心差分它比单边差分 (L(θε) - L(θ)) / ε 的误差小一个数量级。在反向传播实现有疑问时数值梯度是唯一的参考答案。实现起来也很直接def check_gradient(model, x, y, eps1e-5, threshold1e-4): model.forward(x, y) model.backward() for name, param in model.fc1.params.items(): numerical np.zeros_like(param) it np.nditer(param, flags[multi_index]) while not it.finished: idx it.multi_index old param[idx] param[idx] old eps l1 model.forward(x, y) param[idx] old - eps l2 model.forward(x, y) numerical[idx] (l1 - l2) / (2 * eps) param[idx] old it.iternext() diff np.abs(numerical - model.grads[name]) print(name, diff.max())注意这里 forward 的时候要避免随机性比如 Dropout 层就得先切到测试模式或者干脆先不引入随机层。数值梯度的检查原理很简单但它有两个坑你必须知道。第一个坑ReLU 在 x0 处不可导。如果你初始化的权重恰好让某个神经元的输入为 0数值梯度算出来可能和反向传播对不上。解决办法是检查前确保权重偏离 0 点足够远或者干脆多跑几次随机初始化。第二个坑数值梯度对浮点精度非常敏感。ε 太小数值噪声主导ε 太大截断误差变大。一般取 1e-5 到 1e-7 这个范围我用 1e-5 比较多。还有一个非常隐蔽、但真实存在的错误backward 里把多次传播的梯度方向搞反或者对共享参数盲目赋值覆盖而非累加。当一个参数被多个路径共享时比如某些网络设计里同一个权重矩阵被用了两次反向传播的梯度应该是两条路径的梯度之和。如果你用而不是梯度检查一定过不了。遇到这类问题我通常的策略是逐层检查先让网络只用一层确认这一层正确再逐步加上去。乐高积木的另一个好处在这体现出来了——每个积木块都是独立可验证的。我建议代码刚写完时固定用一个小批数据跑一次梯度检查误差超过 1e-4 就要追查。如果误差在 1e-7 量级说明实现基本正确。别嫌这一步麻烦我见过太多人省了这个步骤然后损失曲线不下降、精度卡在 10% 左右回头查 bug 的时间是检查梯度的十倍不止。5. 能跑通不等于能学会——训练中的三类经典翻车现场梯度检查通过网络能前向能反向损失也在下降但训练结果不理想这是绝大多数新手都会遇到的下一个阶段。我在实践中总结了三类最常见的翻车每一个我都亲手踩过。第一类学习率设置不当。学习率太大参数在最优值附近来回震荡损失曲线像锯齿一样上下乱跳极端情况下直接发散成 NaN学习率太小训练慢得像蜗牛迭代了几百轮损失几乎不动。我的经验是先用 0.01 这个量级试跑观察前 100 个 batch 的损失变化如果损失在下降就能用如果波动剧烈就调小到 0.001 或者 0.003如果完全不动考虑调大。遇到 NaN第一个要查的就是学习率第二个查的是损失函数里有没有算 log(0) 这类数值问题。第二类权重初始化不当。如果把所有权重初始化为 0那么同一个全连接层里所有神经元的前向输出相同、反向梯度也相同训练再久所有神经元也是对称的模型表达能力直接被阉割成所有神经元等价。正确的做法是用小随机数初始化比如从均值为 0、标准差为 0.01 的正态分布采样。这样初始时所有神经元处于不同的状态训练才可能让它们各司其职。深层网络里初始化还要更讲究比如 He 初始化、Xavier 初始化核心思想都是让前向传播的方差在各层之间保持稳定避免梯度消失或爆炸。第三类过拟合。训练集精度 99%测试集精度只有 85%典型症状是训练集上效果越好、测试集和训练集的差距越大。反向传播本身不解决过拟合它只是把训练集上的损失压下来。这时你需要正则化手段加 L2 正则化在损失函数里加上权重的平方和乘以一个系数、加 Dropout训练时随机丢弃部分神经元、早停一旦测试精度不再提升就停止训练。我个人的顺序是先看训练集能不能拟合到一个比较高的精度再看测试集。训练集都学不好先解决欠拟合问题加大网络、调学习率、加大迭代轮数训练集学得很好、测试集不行再上正则化手段。还有一个常见的现象训练时 loss 一开始下降正常到某个阶段突然上扬。很多新手以为是网络坏了其实可能是学习率在这个阶段偏大参数越过了损失曲面的鞍点后陷入了另一个更陡的区域。你可以试试把学习率按 epoch 衰减比如每 20 轮乘以 0.9让模型在后期更精细地收敛。训练这类问题最有效的诊断工具就是曲线。我会同时画两张图一张训练损失随迭代次数的变化一张训练/测试准确率随迭代次数的变化。损失曲线告诉你优化过程顺畅不顺畅准确率曲线告诉你模型是否真的学到了泛化知识。曲线本身不会骗人绝大多数训练问题第一眼都能在图上看出苗头。6. 模块化设计的红利从两层网络到 CNN 只差两块新积木我记得自己第一次搭出上图结构的两层网络并在 MNIST 手写数字数据集上跑出 97% 的准确率时那种成就感是难以形容的。但这个成就感带来的更深远的影响是我突然发现从两层全连接网络到卷积神经网络原来只需要再做两件小事——定义两个新的积木块。第一块新的积木叫卷积层。卷积的本质和全连接层的区别并不在于能否反向传播而在于它的连接方式每个输出位置只与输入的一个局部窗口相连而且所有窗口共享同一套权重。这个设计天然适合图像数据因为图像里相邻像素有强烈相关性。卷积层的前向就是一个个局部窗口的加权求和反向传播时把上游梯度按照窗口位置映射回输入端的对应位置同时累加出卷积核的梯度。只要你理解了层只负责局部计算卷积层并不比全连接层难多少只是索引处理要小心。第二块新的积木叫池化层。池化层更简单——最大池化的前向是取窗口内最大值反向传播时只需要把梯度传给那个在最大值位置上的输入其余位置梯度为 0。均值池化则是把梯度平均分给窗口内所有位置。一个池化层的 backward 可能连十行代码都不到。这里体现出了整个模块化设计的核心红利反向传播算法本身不关心你的层做了什么线性运算还是非线性运算它只要求这个运算是可微的、它的局部导数是可算的。只要满足这两点任何新结构都可以作为新积木插进现有框架。后来我对比过手写实现和 PyTorch 的实现发现思路完全一致——PyTorch 里继承nn.Module自定义层本质上就是在造新积木只需要实现forward自动微分框架帮你实现了 backward。理解底层的反向传播你才能真正理解 PyTorch 里requires_grad、backward()、optimizer.step()这些 API 背后到底发生了什么。不过要用代码实现一个适合手写的卷积层还是有一些细节值得注意。最直觉的实现方式是四层循环遍历样本数、遍历输出通道、遍历输出高度、遍历输出宽度在循环内部把每个输出位置的加权和算出来。前向和反向都按这个模式代码会很长但易于理解。我之前一度试图直接照抄框架里的向量化实现发现逻辑完全理不清后来干脆先用循环版本跑通正确性再逐步替换成矩阵运算版本。这种渐进式优化思路值得推荐——先把积木搭对再去考虑拼得有多炫。从两层网络到 CNN再到后来给 RNN、LSTM 之类的结构手写反向传播我都没有换过主框架只是不断地给积木盒增加新的标准件。这就是乐高最奇妙的地方同样的接口无限的可能。你的知识体系里每增加一种新结构你就知道它只需要满足前向可算、反向可导就够了返回来的直觉和工具储备反而是最值钱的部分。我建议每个想搞懂深度学习的同学都能亲手走一遍手搓反向传播这条路。你会发现那些高深的术语、花哨的框架不过是一块块标准积木的组合。你理解了每一块的接口、每一块的局部计算整个深度学习的拼图就自然在你心里铺展开了。这条路值得每一个认真学神经网络的人走一遍。
