简介贝叶斯深度学习是将贝叶斯统计与深度神经网络相结合的重要分支通过为网络权重赋予概率分布而非固定取值能够给出带置信区间的预测结果在医疗诊断、金融风险评估、推荐系统等对不确定性和稳健性敏感的场景中尤为实用。该源码包面向已有一定深度学习基础、希望上手不确定性建模的开发者以单个脚本文件呈现完整实现。资源包共一个文件类型为Python脚本压缩后仅2KB轻量易读便于直接运行或二次修改。脚本覆盖贝叶斯神经网络的核心流程定义随机权重与偏置、构造负对数后验损失、采用变分推理或MCMC优化近似后验以及利用后验分布完成预测并分析均值和方差同时展示TensorFlow Probability或PyMC3等库的具体用法帮助读者理解贝叶斯卷积网络、贝叶斯循环网络等常见模型的设计思路。目前已有260人学习下载适合作为入门贝叶斯深度学习、动手实践变分推断的实用参考。1. BayesianDeepLearning为什么点估计模型在关键任务上自信地犯错贝叶斯深度学习并不是某个单一算法而是一整套把神经网络从输出一个值升级成输出一个分布的建模思路。传统深度学习用梯度下降找到一个最优权重点推理时拿这个点去做预测结果就是模型往往对没见过的情况也给出极高置信度——这正是自动驾驶、医疗辅助诊断这些场景里最让人头疼的自信地犯错。贝叶斯深度学习把每个权重从点变成分布预测时不再走单次前向而是做分布加权集成模型有机会告诉你我不确定而不是硬给一个看似精确的答案。这套思路能落地靠的是两件事一是变分推断把权重的后验分布逼近问题转成可优化的目标函数二是蒙特卡洛采样在预测阶段只增加几十行代码的改动就能拿到不确定度。适合的人群很具体已经在用 PyTorch 或 TensorFlow 做图像、时间序列、NLP 模型但被预测置信度虚高、小样本过拟合、主动学习不知道怎么挑数据这些问题卡住的人。2. 从深度学习到贝叶斯化数学代价与工程回报的换算2.1 把权重 w 变成分布 q(w)贝叶斯神经网络的建模起点先站到公式层面看贝叶斯深度学习和普通深度学习到底差在哪。标准神经网络在训练时求解的是最大似然估计$$\theta_{MLE} \arg\max_\theta \log p(\mathcal{D} | \theta)$$贝叶斯深度学习要的是后验分布 $p(\theta | \mathcal{D})$权重不再是固定数字。但深度网络的后验分布没有解析解所以主流做法是用变分推断找一个简单的分布 $q_\phi(\theta)$ 去逼近真实后验 $p(\theta | \mathcal{D})$优化目标是 ELBO$$\mathcal{L}(\phi) \mathbb{E}{q\phi(\theta)} [\log p(\mathcal{D} | \theta)] - \text{KL}[q_\phi(\theta) | p(\theta)]$$这行公式是整套方案的理论支柱部署时也直接决定代码怎么写。第一项是似然项要求采样出来的权重在训练数据上表现好第二项是正则项要求 $q_\phi$ 不要离先验太远等价于一个天然的正则化。两个项之间的平衡由先验的方差控制——这个超参数在后面的训练里会反复踩。工程上最常见的选型是把 $q_\phi(\theta)$ 定义成高斯对角分布每个权重有两个参数一个是均值 $\mu$一个是方差 $\sigma$。选它的理由很直白重参数化只需要一个标准正态随机变量就能完成采样GPU 上的矩阵运算不需要改太多。代价是大模型权重翻倍这也是贝叶斯深度学习最早被诟病太贵的根本原因。用 PyTorch 实现一个基础的贝叶斯线性层核心代码只需要十几行import torch import torch.nn as nn import torch.nn.functional as F class BayesLinear(nn.Module): def __init__(self, in_features, out_features, prior_sigma0.1): super().__init__() # 均值用全零初始化方差用小值初始化 self.mu nn.Parameter(torch.zeros(out_features, in_features)) self.rho nn.Parameter(torch.full((out_features, in_features), -3.0)) self.prior_sigma prior_sigma def sample_weights(self): # 重参数化先用 softplus 保证方差为正再采样 sigma F.softplus(self.rho) eps torch.randn_like(sigma) return self.mu sigma * eps def forward(self, x): w self.sample_weights() sigma_b F.softplus(self.rho_bias) b self.mu_bias sigma_b * torch.randn_like(sigma_b) return F.linear(x, w, b) def kl_loss(self): # 高斯先验与高斯后验之间的 KL闭式解可以直接算 sigma F.softplus(self.rho) kl torch.log(sigma / self.prior_sigma) \ (self.prior_sigma**2 self.mu**2) / (2 * sigma**2) - 0.5 return kl.sum()重参数化在这里解决了两个问题一是 $\sigma$ 通过 softplus 激活后天然为正不需要额外的约束操作二是采样过程对 $\epsilon$ 求导是恒等映射梯度能正常从损失函数回传到 $\mu$ 和 $\rho$。KL 项直接走闭式解这也是高斯-高斯配对的好处。2.2 全连接层的贝叶斯化改造封装上面只是单层实现真实模型都是几十层上百层手工改每个层不现实。我的习惯是写一个通用的封装工具函数把标准层替换成贝叶斯层并且用局部重参数化梯度来降低方差。def bayesian_ify(model, layer_types(nn.Linear, nn.Conv2d), prior_sigma0.1): 把 model 里的指定类型层替换成贝叶斯层 返回新模型同时保留原模型参数名称以便加载预训练权重 for name, child in model.named_children(): if isinstance(child, layer_types): # 记录输入输出维度构造贝叶斯对应层 in_f child.in_features if hasattr(child, in_features) else child.in_channels out_f child.out_features if hasattr(child, out_features) else child.out_channels setattr(model, name, BayesLinear(in_f, out_f, prior_sigma)) else: bayesian_ify(child, layer_types, prior_sigma) return model# 训练循环里累计 ELBO 损失 def train_step(model, x, y, optimizer, n_samples3): optimizer.zero_grad() total_loss 0.0 for _ in range(n_samples): # 每次采样一组权重跑一遍前向 logits model(x) ce F.cross_entropy(logits, y) kl sum(m.kl_loss() for m in model.modules() if hasattr(m, kl_loss)) # 用 batch 占比缩放 KL等价于对全数据集 KL 的无偏估计 total_loss (ce kl / len(train_loader)) total_loss / n_samples total_loss.backward() optimizer.step()这里有个关键参数n_samples。理论上每次前向采样一组权重就足够但在小 batch 下梯度方差会很大训练震荡严重。实际跑的时候n_samples3是一个性价比很高的默认值再增大收益递减而显存线性上涨。KL 除以len(train_loader)这一行很多人会漏它保证 KL 项的梯度量级和交叉熵项匹配不除以的话模型会过早收敛到一个后验方差过小的状态也就是后验坍缩。2.3 为什么降方差手段决定贝叶斯深度学习能不能训得动变分推断在深度模型上的主要敌人是梯度方差。ELBO 的梯度是蒙特卡洛估计方差一大训练要么震荡要么根本不收敛。业界有三个常用的降方差手段按从易到难排第一是重参数化这个上面已经写过用可微的采样变换替代直接对分布采样第二是局部重参数化梯度把权重采样转到激活值采样每个样本只采样一次激活不用采一组完整权重矩阵这在卷积网络里能显著降方差第三是 Flipout同一 batch 内用符号翻转构造不同的有效权重扰动两个样本共享基线权重但扰动方向相反梯度相关性下降方差也就下来了。TensorFlow Probability 的DenseFlipout和Conv2DFlipout是 Flipout 的现成实现PyTorch 生态里 Pyro 的BayesianLinear也内置了重参数化。实现层面我建议先跑通不带降方差的版本确认模型能过拟合一个小样本集再引入 Flipout——因为降方差手段本身也会引入新的超参数和排查难度如果模型本身有 bug加了只会更乱。3. 把不确定度变成可用的工程输出回归任务全流程复现3.1 数据构造与异方差噪声的模拟贝叶斯深度学习在回归任务上的优势最直观传统回归模型只输出一个均值贝叶斯回归还能输出预测分布。先构造一个有异方差噪声的回归数据集来模拟真实场景——同一个输入位置上噪声大小不同这在传感器数据里极其常见。import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x np.linspace(-3, 3, 500, dtypenp.float32).reshape(-1, 1) # 噪声标准差随 x 增大而增大模拟传感器在高量程段精度下降 sigma_true 0.1 0.3 * (0.5 * (x 3) / 3) y 0.3 * np.sin(x * 2.0) 0.1 * x sigma_true * np.random.randn(*x.shape)数据设计是有讲究的均值函数和非线性项放在一起保证纯线性模型拟合不了噪声方差明确标注了什么位置上的不确定性本来就应该更大——真实的不确定性是验证模型不确定度是否校准的先验条件。网络结构上不要追求复杂两层全连接加一个输出头就够了。输出层要做特殊设计输出两个值一个是均值预测 $\mu$一个是 log 方差 $\log\sigma^2$后者经过指数化就是异方差噪声的估计值。class BayesRegressor(nn.Module): def __init__(self): super().__init__() self.fc1 BayesLinear(1, 64, prior_sigma0.2) self.fc2 BayesLinear(64, 64, prior_sigma0.2) # 输出层保留两个头mu 和 log_var self.mu_head nn.Linear(64, 1) self.logvar_head nn.Linear(64, 1) def forward(self, x, return_epistemicFalse): h torch.tanh(self.fc1(x)) h torch.tanh(self.fc2(h)) mu self.mu_head(h) log_var self.logvar_head(h) if return_epistemic: # 多次采样权重收集 mu 的分布 samples [] for _ in range(50): h torch.tanh(self.fc1(x)) h torch.tanh(self.fc2(h)) samples.append(self.mu_head(h)) return mu, log_var, torch.stack(samples, dim0) return mu, log_var这里把贝叶斯层全放在底层、输出层保持确定性是有意的选择。这个技巧在工业落地里很实用底层的特征表示不确定性大输出层回归头保持稳定预测数值不会因为权重采样在最后一步引入抖动。3.2 高斯负对数似然作为损失函数回归任务的损失函数不再用 MSE要换成高斯负对数似然Gaussian NLL把均值预测和方差预测同时优化def gaussian_nll(mu, log_var, y): # log_var 就是 log(sigma^2)直接把指数运算融进公式 precision torch.exp(-log_var) return 0.5 * torch.mean(log_var (y - mu)**2 * precision)把这个损失逐个展开理解。log_var项是对数方差本身它被放进损失里会阻止模型把方差无脑推到无穷大——如果模型把方差估得过大哪怕预测偏差很大也能被方差解释掉所以损失函数里必须有一项惩罚过大的方差。(y - mu)^2 * precision则是让模型在数据确定性高的区域把误差压小迫使它在不确定区域把方差抬高。两项对抗模型才会学出一个合理的不确定度分布。训练时的return_epistemicTrue分支用来收集多次采样的预测分布这里采样的次数 50 就是后面不确定性分解的原始材料。3.3 认知不确定性和偶然不确定性的分离计算一次完整的不确定性量化包含两部分认知不确定性epistemic uncertainty表示模型知识盲区数据覆盖不到的地方它应该变大偶然不确定性aleatoric uncertainty表示数据本身的噪声输入位置固定也不可变小。两种不确定性有本质区别——认知不确定性可以通过加数据来降低偶然不确定性加数据基本无济于事。在贝叶斯深度学习里这两者的计算路径是分开的。mu, log_var, mu_samples model(x_val, return_epistemicTrue) # 偶然不确定性模型学出来的数据噪声直接取平均 aleatoric torch.mean(torch.exp(log_var), dim0) # 认知不确定性多次采样的均值预测之间的方差 epistemic torch.var(mu_samples, dim0) # 总不确定度是两者之和 total_uncertainty aleatoric epistemic观察epistemic在训练数据边界外的变化是验证模型是否学对的方式x-3 和 x3 的区域训练样本稀疏认知不确定性会显著上升这是贝叶斯深度学习与普通深度学习差别最直观的地方——普通模型只会茫然地输出外推值贝叶斯模型至少会亮起不确定性红灯。这套输出可以直接接主动学习。算法上只需两步用当前模型预测未标注样本的总不确定度按从大到小排序挑 Top-K 送人工标注。比起随机采样这种方法在生产环境里通常能降低 30%-50% 的标注量。实现上也只多几行代码——先跑一遍推理收集不确定度再做排序切片。4. 分类任务里的贝叶斯决策把输出改成投票而不是赌一个值4.1 Softmax 置信度为什么不可信分类任务的现状比回归更严峻。标准分类模型输出 softmax 概率大多数人直接拿 max 概率当置信度这在分布外样本上会翻车。一个猫狗分类器输入一张白噪声图softmax 照样给出 99% 的置信度因为 softmax 本身就是被训练成全类概率加和为 1 的它没有能力表达这个输入不在我的训练分布里。贝叶斯深度学习的做法是蒙特卡洛 Dropout 或权重采样做 T 次前向。以蒙特卡洛 Dropout 为例它是最常见的低成本近似贝叶斯推断部署时只改推理函数、不改网络结构。保留 Dropout 层的测试时激活反复跑 T 次前向收集 T 组 softmax 概率然后做概率平均。def mc_predict(model, x, T100): model.train() # 保持 dropout 开启 with torch.no_grad(): probs torch.stack([F.softmax(model(x), dim1) for _ in range(T)]) # 近似后验预测分布对 T 次采样取平均 pred_mean probs.mean(dim0) # 认知不确定度预测分布的平均熵 减去 平均预测的熵 entropy_pred -(probs * torch.log(probs 1e-8)).sum(dim2).mean(dim0) entropy_mean -(pred_mean * torch.log(pred_mean 1e-8)).sum(dim1) epistemic entropy_pred - entropy_mean return pred_mean, epistemic这段代码里pred_mean是贝叶斯模型平均的最终预测方差比任何单次前向都低epistemic用的是互信息公式表示预测分布的不确定度。一个输入如果多次前向的预测结果差异很大epistemic会偏高如果模型稳定输出同一类epistemic会接近零。这两个指标在主动学习和 OOD分布外样本检测里都是主力。4.2 校准评估用 ECE 指标判断不确定度是否可靠不确定度输出得准不准不能只靠肉眼。度量不确定度和真实准确率是否对齐的标准指标是期望校准误差英文简称 ECE。计算方式不复杂把所有测试样本按预测置信度分桶每桶内比较平均置信度和平均准确率的差距。比如把所有置信度在 0.9-1.0 的样本放进一桶如果这些样本的真实准确率只有 0.7说明模型严重过自信。def expected_calibration_error(probs, labels, n_bins15): conf probs.max(dim1).values pred probs.argmax(dim1) acc (pred labels).float() bin_boundaries torch.linspace(0, 1, n_bins 1) ece 0.0 for i in range(n_bins): in_bin (conf bin_boundaries[i]) (conf bin_boundaries[i1]) if in_bin.sum() 0: bin_conf conf[in_bin].mean() bin_acc acc[in_bin].mean() ece (in_bin.float().mean() * (bin_conf - bin_acc).abs()).item() return eceECE 越低越好范围在 0 到 1 之间。低于 0.05 可以认为不确定度对齐良好。训练好的贝叶斯深度学习分类器通常能把 ECE 压到普通模型的一半以下——普通模型动辄 0.1 以上的过自信贝叶斯化之后可以到 0.03-0.05 的区间。但有一个前提先验方差不设太大否则模型预测会过度起伏、ECE 反而劣化。5. 贝叶斯深度学习避坑手册5 个让模型原地报废的坑5.1 先验方差设置不当导致后验坍缩现象训练过程收敛但预测时不确定性几乎为零和普通深度学习没有区别。原因先验方差设置太小KL 正则项权重过大把后验分布硬生生压成一个几乎确定性的点估计。解决先验方差从 0.1 起步训练初期观察 KL 项和似然项的比值。如果 KL 项在前 10 个 epoch 里占比超过总损失的 5%调大先验方差或缩小 KL 权重。也可以用 KL 退火前 N 个 epoch 线性增重 KL 项。这条是整个贝叶斯深度学习调参的基石。5.2 初始方差太小导致训练不收敛现象训练 loss 剧烈震荡模型完全学不动。原因权重方差初始化为零或过小重参数化采样的输出几乎恒等于均值梯度信号也失去了贝叶斯采样的多样化作用。解决均值初始化为零没毛病方差对应的rho初始值设在-3到-5之间对应 softplus 后的初始标准差约 0.05。这个数值既保证训练初期有足够的探索性又不会让梯度爆炸。一个常用技巧是先用标准网络预训练均值参数再把方差参数附着上去继续微调收敛快很多。5.3 蒙特卡洛采样次数不足导致推理不稳定现象同一批数据跑两次推理不确定度指标差很多。原因采样次数 T 太小蒙特卡洛估计方差没有充分消除。解决分类任务 T 设 100 次起步回归任务采集预测分布要 200 次以上。如果显存撑不住可以把大 batch 拆成小 batch 循环采样或使用 Dropout 共享权重的方式降低成本。实在要精打细算也可以分两阶段先小 T 快速过滤掉明显确定的样本只对高不确定度的样本用大 T 精确计算。硬性数字只是经验值实际要看不确定度的方差是否足够稳定。5.4 后验坍缩反复出现时检查 KL 归一化现象不确定度始终压在一个极低的值怎么调先验都无效。原因KL 项没有按 batch 数归一化。数据量大时 KL 项被反复相乘对梯度影响过大优化过程直接把方差压到零。解决检查训练代码里有没有kl_total / num_batches_per_epoch这一步。用全批量梯度下降可以不用归一化但小批量训练必须处理。这条和 5.1 的区别在于5.1 是先验没选对这条是计算逻辑错了两件事经常一起出现、互相掩盖。5.5 Dropout 近似方案在卷积网络上不稳定现象用蒙特卡洛 Dropout 做贝叶斯近似时不确定性指标在 BN 层影响下剧烈波动。原因Dropout 的位置和 BN 层的交互很微妙——如果 Dropout 放在 BN 之后训练和推理的分布行为不一致Dropout 在 BN 之前则问题小一些。解决卷积网络里建议在激活函数之后、全连接层之前加蒙特卡洛 Dropoutrate 设 0.2 左右不要在整个卷积层前加太大的 Dropout卷积特征图本来是空间相关的破坏这些相关性会让预测分布失真。6. 进阶用混合先验和温度锐化把不确定度调到工程可用走到最后一步贝叶斯深度学习的基础方案已经能输出不确定度了但工程落地往往还要解决不确定度绝对值不可信和分布过于保守这两个问题。我有两个顺手的小技巧在项目里反复用。第一个是混合先验Gaussian Mixture Prior把原先单一的零均值高斯先验替换成两个高斯的混合def kl_with_mixture_prior(mu, sigma, prior_sigma_10.1, prior_sigma_20.001, pi0.5): # 在两个高斯基元上分别计算 KL再按权重混合 kl_1 torch.log(sigma / prior_sigma_1) \ (prior_sigma_1**2 mu**2) / (2 * sigma**2) - 0.5 kl_2 torch.log(sigma / prior_sigma_2) \ (prior_sigma_2**2 mu**2) / (2 * sigma**2) - 0.5 # logsumexp 方式做混合数值稳定 log_kl torch.log(torch.tensor(pi)) kl_1 log_kl torch.logaddexp(log_kl, torch.tensor(1-pi).log() kl_2) return log_kl.sum()混合先验的作用是对权重施加双峰偏好一部分权重被推向绝对值极小的区域形成稀疏化效果另一部分保持适中的表达力。这比单高斯先验在各种任务上都能把不确定度校准指标 ECE 再压一个点代价只是多几行代码。注意实现里用logaddexp而不是直接把两项相加再取 log否则数值容易下溢。第二个是温度锐化解决预测熵过高、模型太过保守的问题。有时候不确定度过高导致模型几乎不敢给任何高置信度的判断这在真实系统里会引起大量误报警。把预测分布用温度 T 做锐化def temperature_sharpen(pred_probs, temperature2.0): # 用 logits 除以温度后再过 softmax温度1 时分布被平滑 logits torch.log(pred_probs 1e-8) return torch.softmax(logits / temperature, dim-1)温度是验证集上调出来的超参数通常取值 1.5 到 3.0。温度设得越高分布越平滑但注意这里的核心是在贝叶斯平均后的分布上做锐化不是对每次采样分别处理——先做贝叶斯平均再做锐化次序颠倒会破坏不确定性估计的逻辑。最后一个习惯值得保留到所有贝叶斯深度学习项目里训练收敛之后不要急着部署先对验证集做一次完整的 ECE 评估把预测结果按置信度从低到高排序肉眼检查置信度最高的一批里有没有错误样本。如果 0.95 置信度以上的样本里还混着大量错误分类这个模型还不具备上线的条件。贝叶斯深度学习的投入产出比在多数任务上是划算的代码改动集中在模型定义和损失函数前向推理多几十行采样代码换来的是分布外样本的预警能力和主动学习里的数据效率提升。我见过很多团队在调研阶段追求复杂的推断方法、纠缠于数学细节最后收敛的往往是最简单的变分 Dropout 或重参数化方案——先把它跑起来。希望帮到你。本文还有配套的精品资源点击获取
贝叶斯深度学习实战：从权重分布到不确定性量化
简介贝叶斯深度学习是将贝叶斯统计与深度神经网络相结合的重要分支通过为网络权重赋予概率分布而非固定取值能够给出带置信区间的预测结果在医疗诊断、金融风险评估、推荐系统等对不确定性和稳健性敏感的场景中尤为实用。该源码包面向已有一定深度学习基础、希望上手不确定性建模的开发者以单个脚本文件呈现完整实现。资源包共一个文件类型为Python脚本压缩后仅2KB轻量易读便于直接运行或二次修改。脚本覆盖贝叶斯神经网络的核心流程定义随机权重与偏置、构造负对数后验损失、采用变分推理或MCMC优化近似后验以及利用后验分布完成预测并分析均值和方差同时展示TensorFlow Probability或PyMC3等库的具体用法帮助读者理解贝叶斯卷积网络、贝叶斯循环网络等常见模型的设计思路。目前已有260人学习下载适合作为入门贝叶斯深度学习、动手实践变分推断的实用参考。1. BayesianDeepLearning为什么点估计模型在关键任务上自信地犯错贝叶斯深度学习并不是某个单一算法而是一整套把神经网络从输出一个值升级成输出一个分布的建模思路。传统深度学习用梯度下降找到一个最优权重点推理时拿这个点去做预测结果就是模型往往对没见过的情况也给出极高置信度——这正是自动驾驶、医疗辅助诊断这些场景里最让人头疼的自信地犯错。贝叶斯深度学习把每个权重从点变成分布预测时不再走单次前向而是做分布加权集成模型有机会告诉你我不确定而不是硬给一个看似精确的答案。这套思路能落地靠的是两件事一是变分推断把权重的后验分布逼近问题转成可优化的目标函数二是蒙特卡洛采样在预测阶段只增加几十行代码的改动就能拿到不确定度。适合的人群很具体已经在用 PyTorch 或 TensorFlow 做图像、时间序列、NLP 模型但被预测置信度虚高、小样本过拟合、主动学习不知道怎么挑数据这些问题卡住的人。2. 从深度学习到贝叶斯化数学代价与工程回报的换算2.1 把权重 w 变成分布 q(w)贝叶斯神经网络的建模起点先站到公式层面看贝叶斯深度学习和普通深度学习到底差在哪。标准神经网络在训练时求解的是最大似然估计$$\theta_{MLE} \arg\max_\theta \log p(\mathcal{D} | \theta)$$贝叶斯深度学习要的是后验分布 $p(\theta | \mathcal{D})$权重不再是固定数字。但深度网络的后验分布没有解析解所以主流做法是用变分推断找一个简单的分布 $q_\phi(\theta)$ 去逼近真实后验 $p(\theta | \mathcal{D})$优化目标是 ELBO$$\mathcal{L}(\phi) \mathbb{E}{q\phi(\theta)} [\log p(\mathcal{D} | \theta)] - \text{KL}[q_\phi(\theta) | p(\theta)]$$这行公式是整套方案的理论支柱部署时也直接决定代码怎么写。第一项是似然项要求采样出来的权重在训练数据上表现好第二项是正则项要求 $q_\phi$ 不要离先验太远等价于一个天然的正则化。两个项之间的平衡由先验的方差控制——这个超参数在后面的训练里会反复踩。工程上最常见的选型是把 $q_\phi(\theta)$ 定义成高斯对角分布每个权重有两个参数一个是均值 $\mu$一个是方差 $\sigma$。选它的理由很直白重参数化只需要一个标准正态随机变量就能完成采样GPU 上的矩阵运算不需要改太多。代价是大模型权重翻倍这也是贝叶斯深度学习最早被诟病太贵的根本原因。用 PyTorch 实现一个基础的贝叶斯线性层核心代码只需要十几行import torch import torch.nn as nn import torch.nn.functional as F class BayesLinear(nn.Module): def __init__(self, in_features, out_features, prior_sigma0.1): super().__init__() # 均值用全零初始化方差用小值初始化 self.mu nn.Parameter(torch.zeros(out_features, in_features)) self.rho nn.Parameter(torch.full((out_features, in_features), -3.0)) self.prior_sigma prior_sigma def sample_weights(self): # 重参数化先用 softplus 保证方差为正再采样 sigma F.softplus(self.rho) eps torch.randn_like(sigma) return self.mu sigma * eps def forward(self, x): w self.sample_weights() sigma_b F.softplus(self.rho_bias) b self.mu_bias sigma_b * torch.randn_like(sigma_b) return F.linear(x, w, b) def kl_loss(self): # 高斯先验与高斯后验之间的 KL闭式解可以直接算 sigma F.softplus(self.rho) kl torch.log(sigma / self.prior_sigma) \ (self.prior_sigma**2 self.mu**2) / (2 * sigma**2) - 0.5 return kl.sum()重参数化在这里解决了两个问题一是 $\sigma$ 通过 softplus 激活后天然为正不需要额外的约束操作二是采样过程对 $\epsilon$ 求导是恒等映射梯度能正常从损失函数回传到 $\mu$ 和 $\rho$。KL 项直接走闭式解这也是高斯-高斯配对的好处。2.2 全连接层的贝叶斯化改造封装上面只是单层实现真实模型都是几十层上百层手工改每个层不现实。我的习惯是写一个通用的封装工具函数把标准层替换成贝叶斯层并且用局部重参数化梯度来降低方差。def bayesian_ify(model, layer_types(nn.Linear, nn.Conv2d), prior_sigma0.1): 把 model 里的指定类型层替换成贝叶斯层 返回新模型同时保留原模型参数名称以便加载预训练权重 for name, child in model.named_children(): if isinstance(child, layer_types): # 记录输入输出维度构造贝叶斯对应层 in_f child.in_features if hasattr(child, in_features) else child.in_channels out_f child.out_features if hasattr(child, out_features) else child.out_channels setattr(model, name, BayesLinear(in_f, out_f, prior_sigma)) else: bayesian_ify(child, layer_types, prior_sigma) return model# 训练循环里累计 ELBO 损失 def train_step(model, x, y, optimizer, n_samples3): optimizer.zero_grad() total_loss 0.0 for _ in range(n_samples): # 每次采样一组权重跑一遍前向 logits model(x) ce F.cross_entropy(logits, y) kl sum(m.kl_loss() for m in model.modules() if hasattr(m, kl_loss)) # 用 batch 占比缩放 KL等价于对全数据集 KL 的无偏估计 total_loss (ce kl / len(train_loader)) total_loss / n_samples total_loss.backward() optimizer.step()这里有个关键参数n_samples。理论上每次前向采样一组权重就足够但在小 batch 下梯度方差会很大训练震荡严重。实际跑的时候n_samples3是一个性价比很高的默认值再增大收益递减而显存线性上涨。KL 除以len(train_loader)这一行很多人会漏它保证 KL 项的梯度量级和交叉熵项匹配不除以的话模型会过早收敛到一个后验方差过小的状态也就是后验坍缩。2.3 为什么降方差手段决定贝叶斯深度学习能不能训得动变分推断在深度模型上的主要敌人是梯度方差。ELBO 的梯度是蒙特卡洛估计方差一大训练要么震荡要么根本不收敛。业界有三个常用的降方差手段按从易到难排第一是重参数化这个上面已经写过用可微的采样变换替代直接对分布采样第二是局部重参数化梯度把权重采样转到激活值采样每个样本只采样一次激活不用采一组完整权重矩阵这在卷积网络里能显著降方差第三是 Flipout同一 batch 内用符号翻转构造不同的有效权重扰动两个样本共享基线权重但扰动方向相反梯度相关性下降方差也就下来了。TensorFlow Probability 的DenseFlipout和Conv2DFlipout是 Flipout 的现成实现PyTorch 生态里 Pyro 的BayesianLinear也内置了重参数化。实现层面我建议先跑通不带降方差的版本确认模型能过拟合一个小样本集再引入 Flipout——因为降方差手段本身也会引入新的超参数和排查难度如果模型本身有 bug加了只会更乱。3. 把不确定度变成可用的工程输出回归任务全流程复现3.1 数据构造与异方差噪声的模拟贝叶斯深度学习在回归任务上的优势最直观传统回归模型只输出一个均值贝叶斯回归还能输出预测分布。先构造一个有异方差噪声的回归数据集来模拟真实场景——同一个输入位置上噪声大小不同这在传感器数据里极其常见。import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x np.linspace(-3, 3, 500, dtypenp.float32).reshape(-1, 1) # 噪声标准差随 x 增大而增大模拟传感器在高量程段精度下降 sigma_true 0.1 0.3 * (0.5 * (x 3) / 3) y 0.3 * np.sin(x * 2.0) 0.1 * x sigma_true * np.random.randn(*x.shape)数据设计是有讲究的均值函数和非线性项放在一起保证纯线性模型拟合不了噪声方差明确标注了什么位置上的不确定性本来就应该更大——真实的不确定性是验证模型不确定度是否校准的先验条件。网络结构上不要追求复杂两层全连接加一个输出头就够了。输出层要做特殊设计输出两个值一个是均值预测 $\mu$一个是 log 方差 $\log\sigma^2$后者经过指数化就是异方差噪声的估计值。class BayesRegressor(nn.Module): def __init__(self): super().__init__() self.fc1 BayesLinear(1, 64, prior_sigma0.2) self.fc2 BayesLinear(64, 64, prior_sigma0.2) # 输出层保留两个头mu 和 log_var self.mu_head nn.Linear(64, 1) self.logvar_head nn.Linear(64, 1) def forward(self, x, return_epistemicFalse): h torch.tanh(self.fc1(x)) h torch.tanh(self.fc2(h)) mu self.mu_head(h) log_var self.logvar_head(h) if return_epistemic: # 多次采样权重收集 mu 的分布 samples [] for _ in range(50): h torch.tanh(self.fc1(x)) h torch.tanh(self.fc2(h)) samples.append(self.mu_head(h)) return mu, log_var, torch.stack(samples, dim0) return mu, log_var这里把贝叶斯层全放在底层、输出层保持确定性是有意的选择。这个技巧在工业落地里很实用底层的特征表示不确定性大输出层回归头保持稳定预测数值不会因为权重采样在最后一步引入抖动。3.2 高斯负对数似然作为损失函数回归任务的损失函数不再用 MSE要换成高斯负对数似然Gaussian NLL把均值预测和方差预测同时优化def gaussian_nll(mu, log_var, y): # log_var 就是 log(sigma^2)直接把指数运算融进公式 precision torch.exp(-log_var) return 0.5 * torch.mean(log_var (y - mu)**2 * precision)把这个损失逐个展开理解。log_var项是对数方差本身它被放进损失里会阻止模型把方差无脑推到无穷大——如果模型把方差估得过大哪怕预测偏差很大也能被方差解释掉所以损失函数里必须有一项惩罚过大的方差。(y - mu)^2 * precision则是让模型在数据确定性高的区域把误差压小迫使它在不确定区域把方差抬高。两项对抗模型才会学出一个合理的不确定度分布。训练时的return_epistemicTrue分支用来收集多次采样的预测分布这里采样的次数 50 就是后面不确定性分解的原始材料。3.3 认知不确定性和偶然不确定性的分离计算一次完整的不确定性量化包含两部分认知不确定性epistemic uncertainty表示模型知识盲区数据覆盖不到的地方它应该变大偶然不确定性aleatoric uncertainty表示数据本身的噪声输入位置固定也不可变小。两种不确定性有本质区别——认知不确定性可以通过加数据来降低偶然不确定性加数据基本无济于事。在贝叶斯深度学习里这两者的计算路径是分开的。mu, log_var, mu_samples model(x_val, return_epistemicTrue) # 偶然不确定性模型学出来的数据噪声直接取平均 aleatoric torch.mean(torch.exp(log_var), dim0) # 认知不确定性多次采样的均值预测之间的方差 epistemic torch.var(mu_samples, dim0) # 总不确定度是两者之和 total_uncertainty aleatoric epistemic观察epistemic在训练数据边界外的变化是验证模型是否学对的方式x-3 和 x3 的区域训练样本稀疏认知不确定性会显著上升这是贝叶斯深度学习与普通深度学习差别最直观的地方——普通模型只会茫然地输出外推值贝叶斯模型至少会亮起不确定性红灯。这套输出可以直接接主动学习。算法上只需两步用当前模型预测未标注样本的总不确定度按从大到小排序挑 Top-K 送人工标注。比起随机采样这种方法在生产环境里通常能降低 30%-50% 的标注量。实现上也只多几行代码——先跑一遍推理收集不确定度再做排序切片。4. 分类任务里的贝叶斯决策把输出改成投票而不是赌一个值4.1 Softmax 置信度为什么不可信分类任务的现状比回归更严峻。标准分类模型输出 softmax 概率大多数人直接拿 max 概率当置信度这在分布外样本上会翻车。一个猫狗分类器输入一张白噪声图softmax 照样给出 99% 的置信度因为 softmax 本身就是被训练成全类概率加和为 1 的它没有能力表达这个输入不在我的训练分布里。贝叶斯深度学习的做法是蒙特卡洛 Dropout 或权重采样做 T 次前向。以蒙特卡洛 Dropout 为例它是最常见的低成本近似贝叶斯推断部署时只改推理函数、不改网络结构。保留 Dropout 层的测试时激活反复跑 T 次前向收集 T 组 softmax 概率然后做概率平均。def mc_predict(model, x, T100): model.train() # 保持 dropout 开启 with torch.no_grad(): probs torch.stack([F.softmax(model(x), dim1) for _ in range(T)]) # 近似后验预测分布对 T 次采样取平均 pred_mean probs.mean(dim0) # 认知不确定度预测分布的平均熵 减去 平均预测的熵 entropy_pred -(probs * torch.log(probs 1e-8)).sum(dim2).mean(dim0) entropy_mean -(pred_mean * torch.log(pred_mean 1e-8)).sum(dim1) epistemic entropy_pred - entropy_mean return pred_mean, epistemic这段代码里pred_mean是贝叶斯模型平均的最终预测方差比任何单次前向都低epistemic用的是互信息公式表示预测分布的不确定度。一个输入如果多次前向的预测结果差异很大epistemic会偏高如果模型稳定输出同一类epistemic会接近零。这两个指标在主动学习和 OOD分布外样本检测里都是主力。4.2 校准评估用 ECE 指标判断不确定度是否可靠不确定度输出得准不准不能只靠肉眼。度量不确定度和真实准确率是否对齐的标准指标是期望校准误差英文简称 ECE。计算方式不复杂把所有测试样本按预测置信度分桶每桶内比较平均置信度和平均准确率的差距。比如把所有置信度在 0.9-1.0 的样本放进一桶如果这些样本的真实准确率只有 0.7说明模型严重过自信。def expected_calibration_error(probs, labels, n_bins15): conf probs.max(dim1).values pred probs.argmax(dim1) acc (pred labels).float() bin_boundaries torch.linspace(0, 1, n_bins 1) ece 0.0 for i in range(n_bins): in_bin (conf bin_boundaries[i]) (conf bin_boundaries[i1]) if in_bin.sum() 0: bin_conf conf[in_bin].mean() bin_acc acc[in_bin].mean() ece (in_bin.float().mean() * (bin_conf - bin_acc).abs()).item() return eceECE 越低越好范围在 0 到 1 之间。低于 0.05 可以认为不确定度对齐良好。训练好的贝叶斯深度学习分类器通常能把 ECE 压到普通模型的一半以下——普通模型动辄 0.1 以上的过自信贝叶斯化之后可以到 0.03-0.05 的区间。但有一个前提先验方差不设太大否则模型预测会过度起伏、ECE 反而劣化。5. 贝叶斯深度学习避坑手册5 个让模型原地报废的坑5.1 先验方差设置不当导致后验坍缩现象训练过程收敛但预测时不确定性几乎为零和普通深度学习没有区别。原因先验方差设置太小KL 正则项权重过大把后验分布硬生生压成一个几乎确定性的点估计。解决先验方差从 0.1 起步训练初期观察 KL 项和似然项的比值。如果 KL 项在前 10 个 epoch 里占比超过总损失的 5%调大先验方差或缩小 KL 权重。也可以用 KL 退火前 N 个 epoch 线性增重 KL 项。这条是整个贝叶斯深度学习调参的基石。5.2 初始方差太小导致训练不收敛现象训练 loss 剧烈震荡模型完全学不动。原因权重方差初始化为零或过小重参数化采样的输出几乎恒等于均值梯度信号也失去了贝叶斯采样的多样化作用。解决均值初始化为零没毛病方差对应的rho初始值设在-3到-5之间对应 softplus 后的初始标准差约 0.05。这个数值既保证训练初期有足够的探索性又不会让梯度爆炸。一个常用技巧是先用标准网络预训练均值参数再把方差参数附着上去继续微调收敛快很多。5.3 蒙特卡洛采样次数不足导致推理不稳定现象同一批数据跑两次推理不确定度指标差很多。原因采样次数 T 太小蒙特卡洛估计方差没有充分消除。解决分类任务 T 设 100 次起步回归任务采集预测分布要 200 次以上。如果显存撑不住可以把大 batch 拆成小 batch 循环采样或使用 Dropout 共享权重的方式降低成本。实在要精打细算也可以分两阶段先小 T 快速过滤掉明显确定的样本只对高不确定度的样本用大 T 精确计算。硬性数字只是经验值实际要看不确定度的方差是否足够稳定。5.4 后验坍缩反复出现时检查 KL 归一化现象不确定度始终压在一个极低的值怎么调先验都无效。原因KL 项没有按 batch 数归一化。数据量大时 KL 项被反复相乘对梯度影响过大优化过程直接把方差压到零。解决检查训练代码里有没有kl_total / num_batches_per_epoch这一步。用全批量梯度下降可以不用归一化但小批量训练必须处理。这条和 5.1 的区别在于5.1 是先验没选对这条是计算逻辑错了两件事经常一起出现、互相掩盖。5.5 Dropout 近似方案在卷积网络上不稳定现象用蒙特卡洛 Dropout 做贝叶斯近似时不确定性指标在 BN 层影响下剧烈波动。原因Dropout 的位置和 BN 层的交互很微妙——如果 Dropout 放在 BN 之后训练和推理的分布行为不一致Dropout 在 BN 之前则问题小一些。解决卷积网络里建议在激活函数之后、全连接层之前加蒙特卡洛 Dropoutrate 设 0.2 左右不要在整个卷积层前加太大的 Dropout卷积特征图本来是空间相关的破坏这些相关性会让预测分布失真。6. 进阶用混合先验和温度锐化把不确定度调到工程可用走到最后一步贝叶斯深度学习的基础方案已经能输出不确定度了但工程落地往往还要解决不确定度绝对值不可信和分布过于保守这两个问题。我有两个顺手的小技巧在项目里反复用。第一个是混合先验Gaussian Mixture Prior把原先单一的零均值高斯先验替换成两个高斯的混合def kl_with_mixture_prior(mu, sigma, prior_sigma_10.1, prior_sigma_20.001, pi0.5): # 在两个高斯基元上分别计算 KL再按权重混合 kl_1 torch.log(sigma / prior_sigma_1) \ (prior_sigma_1**2 mu**2) / (2 * sigma**2) - 0.5 kl_2 torch.log(sigma / prior_sigma_2) \ (prior_sigma_2**2 mu**2) / (2 * sigma**2) - 0.5 # logsumexp 方式做混合数值稳定 log_kl torch.log(torch.tensor(pi)) kl_1 log_kl torch.logaddexp(log_kl, torch.tensor(1-pi).log() kl_2) return log_kl.sum()混合先验的作用是对权重施加双峰偏好一部分权重被推向绝对值极小的区域形成稀疏化效果另一部分保持适中的表达力。这比单高斯先验在各种任务上都能把不确定度校准指标 ECE 再压一个点代价只是多几行代码。注意实现里用logaddexp而不是直接把两项相加再取 log否则数值容易下溢。第二个是温度锐化解决预测熵过高、模型太过保守的问题。有时候不确定度过高导致模型几乎不敢给任何高置信度的判断这在真实系统里会引起大量误报警。把预测分布用温度 T 做锐化def temperature_sharpen(pred_probs, temperature2.0): # 用 logits 除以温度后再过 softmax温度1 时分布被平滑 logits torch.log(pred_probs 1e-8) return torch.softmax(logits / temperature, dim-1)温度是验证集上调出来的超参数通常取值 1.5 到 3.0。温度设得越高分布越平滑但注意这里的核心是在贝叶斯平均后的分布上做锐化不是对每次采样分别处理——先做贝叶斯平均再做锐化次序颠倒会破坏不确定性估计的逻辑。最后一个习惯值得保留到所有贝叶斯深度学习项目里训练收敛之后不要急着部署先对验证集做一次完整的 ECE 评估把预测结果按置信度从低到高排序肉眼检查置信度最高的一批里有没有错误样本。如果 0.95 置信度以上的样本里还混着大量错误分类这个模型还不具备上线的条件。贝叶斯深度学习的投入产出比在多数任务上是划算的代码改动集中在模型定义和损失函数前向推理多几十行采样代码换来的是分布外样本的预警能力和主动学习里的数据效率提升。我见过很多团队在调研阶段追求复杂的推断方法、纠缠于数学细节最后收敛的往往是最简单的变分 Dropout 或重参数化方案——先把它跑起来。希望帮到你。本文还有配套的精品资源点击获取
