做物理模拟和机器学习交叉方向这几年我最大的感受是真正有价值的工具往往是那种能让你在两类知识之间自由穿梭的东西。PINN物理信息神经网络Physics-Informed Neural Network就是这样一个存在。它能让神经网络在拟合数据的同时严格遵循物理方程——比如热传导、流体运动、结构形变——真正做到“给神经网络注入物理常识”。这篇文章我想写给两类人一类是懂点Python但一看到偏微分方程PDE就心里发怵的物理小白另一类是懂物理但一直觉得神经网络只是个黑箱工具的工程师或研究者。我会把一个最小可用的PINN从零手写出来用一维热传导方程或泊松方程作为贯穿全篇的算例把里面的核心细节、训练要点、踩坑经验全部分享出来让你不依赖任何现成框架也能理解PINN的本质并且能把这套思路迁移到自己的问题上。1. 先搞懂PINN在做什么给神经网络加“物理约束”1.1 什么是PINN它和普通神经网络差在哪普通神经网络做回归或者拟合本质上是靠大量输入输出样本去逼近某个未知映射。你把一万个点的x和u(x)丢进去网络学到的就是“在这些点上输出这些值”的插值规律。问题在于如果样本分布不均匀、边界区域样本稀疏网络学出来的曲线可能完全不符合物理规律甚至会给出负浓度、负温度这种荒谬结果。PINN的思路不一样。它在原有的数据拟合损失之外额外引入了一个“物理残差损失”说白了就是让网络输出u被代进物理方程后方程左边的计算结果尽量等于0。比如热传导方程左边是 ∂u/∂t - α∇²u理想情况下这个式子恒等于0。PINN会让网络输出在这条约束下尽量成立同时边界条件和初始条件也要对齐。这样一来即使某些区域没有数据只要有物理方程在那里管着网络输出就不会“跑飞”。你可以把它想象成给神经网络装了一套物理定律的“交通规则”它可以在数据稀疏的地方按规律外推而不是瞎猜。1.2 PINN的核心公式损失函数里发生了什么PINN的损失函数一般长这样[ \mathcal{L} \lambda_{PDE} \mathcal{L}{PDE} \lambda{BC} \mathcal{L}{BC} \lambda{IC} \mathcal{L}{IC} \lambda{data} \mathcal{L}_{data} ](\mathcal{L}_{PDE})把网络输出代入控制方程后的残差平方和。(\mathcal{L}_{BC})在边界上网络输出与已知边界条件的差距。(\mathcal{L}_{IC})瞬态问题里在初始时刻的差距。(\mathcal{L}_{data})如果有真实实验数据/观测数据就再加一个数据拟合项。所有微分项比如 (\partial u/\partial t)、(\partial^2 u/\partial x^2)都不是用有限差分去近似而是用神经网络的自动微分autograd算出来的。这是PINN最巧妙的地方也是整个方法能够落地的技术基础。自动微分能精确计算网络输出对输入的任意阶导数而且速度很快。1.3 为什么不能用纯数值方法替代传统求解器的几个痛点经典数值方法如有限元、有限体积、有限差分在网格规整、几何简单、材料参数稳定的问题上已经很成熟了。但有几个痛点一直存在复杂几何网格划分费时费力特别是三维问题。反问题由部分观测数据反推物理参数传统方法处理起来麻烦需要频繁重算正问题。高维问题的网格点数随维度爆炸增长。多物理场耦合时不同场的网格需求不一致非常难协调。PINN的好处是网格无关、天然适合反问题、能很方便地融合不同来源的数据。它当然不是万能的但在不少场景下确实比传统方法灵活得多。2. 动手前的准备Python环境与核心库2.1 环境搭建一步到位写PINN不需要特别复杂的依赖我推荐直接用Miniconda管理环境避免不同项目之间的包版本冲突。新建一个环境conda create -n pinn python3.10 conda activate pinn然后安装核心库。我用的是PyTorch因为它的自动微分API用起来最顺手pip install torch --index-url https://download.pytorch.org/whl/cpu pip install matplotlib numpy如果之后想尝试更上层的封装可以再装DeepXDE或者PyDREAM但第一遍我建议先别装自己手写一遍才能真正理解PINN的机制。2.2 自动微分PINN背后的“引擎”自动微分是PyTorch、TensorFlow这类深度学习框架的基础能力。它会把你的网络计算过程变成一个计算图然后通过链式法则反着算出每个中间变量对输入的导数。举个例子你定义一个函数 (u 2x^3 \sin(x))在PyTorch里import torch x torch.tensor([0.5], requires_gradTrue) u 2 * x**3 torch.sin(x) u.backward() print(x.grad) # 这是 du/dx 在 x0.5 处的值PINN要计算的是一阶导、二阶导甚至更高阶导。二阶导需要做两次反传或者在构造计算图时保留中间梯度后再求一次x torch.tensor([0.5], requires_gradTrue) u 2 * x**3 torch.sin(x) # 一阶导 u_x torch.autograd.grad(u, x, create_graphTrue, retain_graphTrue)[0] # 二阶导 u_xx torch.autograd.grad(u_x, x, create_graphTrue, retain_graphTrue)[0]这里的create_graphTrue是关键它让一阶导的计算图也被保留下来这样才能继续对一阶导再求一次导数。第一次写PINN的时候经常会忘记这个参数结果一算二阶导就报错这是最常见的入门坑。2.3 选算例从“一维稳态热传导”开始PINN可以解非常复杂的问题但第一个算例一定要足够简单让你能一眼看出网络学得对不对。我个人强烈推荐一维稳态热传导方程泊松方程作为入门算例[ -\frac{d^2 u}{dx^2} \pi^2 \sin(\pi x), \quad x \in [0, 1] ]边界条件[ u(0)0, \quad u(1)0 ]这个方程的真解是 (u(x)\sin(\pi x))完美是一个光滑的钟形曲线。你训练完直接把网络输出和真解画在一起一眼就知道有没有学对。而且它可以手工推导出残差表达式调试起来信息量很大。3. 从零手写一个最小可用的PINN泊松方程实操3.1 物理问题定义与网络结构选择我们要求解的问题是上面那个泊松方程。它的物理意义可以理解为一根两端温度固定为0的金属杆内部有某种热源分布最终达到稳态后的温度分布。温度分布就是我们要逼近的 (u(x))。PINN里的神经网络本质上是一个函数逼近器输入是坐标(x)输出是物理量(u)。对于一维问题网络结构的自由度很大我实测下来推荐用3到4层全连接层、每层32到64个神经元、激活函数选Tanh。为什么选Tanh而不是ReLU因为PINN需要计算网络的二阶导数ReLU在0点处不可导一阶导数本身就是分段常数二阶导数恒为0根本没法用来表达物理方程的曲率信息。Tanh光滑且二阶导丰富是目前PINN实践中最稳妥的默认选择。网络定义如下import torch import torch.nn as nn class PINN(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(1, 32), nn.Tanh(), nn.Linear(32, 32), nn.Tanh(), nn.Linear(32, 32), nn.Tanh(), nn.Linear(32, 1) ) def forward(self, x): return self.net(x)这里的输入是(x)输出是预测的(u)。相比普通神经网络PINN的网络结构本身没有太多特别之处真正的核心差异在于损失函数。3.2 核心代码PDE残差怎么算接下来是最关键的部分如何把泊松方程变成损失函数。我们需要计算网络输出的二阶导数(u_{xx})然后代入方程[ loss_{PDE} \frac{1}{N} \sum_{i1}^{N} \left( -\frac{d^2 u}{dx^2} - \pi^2 \sin(\pi x) \right)^2 ]代码实现中我用torch.autograd.grad来求导。为了计算二阶导必须开启create_graphTruedef pde_residual(model, x): x x.requires_grad_(True) u model(x) # 一阶导 u_x torch.autograd.grad( u, x, grad_outputstorch.ones_like(u), create_graphTrue, retain_graphTrue )[0] # 二阶导 u_xx torch.autograd.grad( u_x, x, grad_outputstorch.ones_like(u_x), create_graphTrue, retain_graphTrue )[0] # 方程残差 -u_xx - f(x) 0 f (torch.pi ** 2) * torch.sin(torch.pi * x) residual -u_xx - f return residual有人可能会问为什么grad_outputs要传torch.ones_like(u)因为torch.autograd.grad对非标量输出需要指定“上游梯度”。这里我们希望每个样本点上的输出都独立计算梯度所以上游梯度全设为1相当于对每个点的输出分别求和之后再做反向传播。3.3 边界条件与损失组装边界条件部分实现得更直接。我们已知(u(0)0)、(u(1)0)只要把模型在这两个点上的输出和0做均方误差即可def boundary_loss(model): x_bc torch.tensor([[0.0], [1.0]], requires_gradTrue) u_bc model(x_bc) return torch.mean((u_bc - 0.0) ** 2)总损失由两部分组成PDE残差损失和边界损失。注意初始条件这里没有因为是稳态问题。如果你要解瞬态问题还要在初始时刻(t0)上额外加一项。def total_loss(model, x_res): res pde_residual(model, x_res) loss_pde torch.mean(res ** 2) loss_bc boundary_loss(model) return loss_pde loss_bc3.4 训练循环Adam打底少量迭代就能看到效果训练循环和普通深度学习几乎一样model PINN() optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(10000): # 内部采样点用于计算PDE残差 x_res torch.rand(256, 1) * 2 - 1 # [-1, 1]区间 # 注意我们的域是[0,1]所以下面采样时要改一下这里保持[0,1] x_res torch.rand(256, 1) # [0, 1]区间 loss total_loss(model, x_res) optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 500 0: print(fEpoch {epoch}, Loss: {loss.item():.6f})这里有个细节值得注意PDE残差点每次训练迭代都重新随机采样。这相当于一种无限样本增强网络每次看到的都是新的空间位置能有效避免过拟合。PINN不像传统深度学习那样需要固定的训练集它用的是“在定义域内在线采样”的方式采样策略直接影响训练效果。3.5 训练效果评估与可视化训练完成后把网络预测和精确解画在一起import numpy as np import matplotlib.pyplot as plt x_test torch.linspace(0, 1, 200).reshape(-1, 1) u_pred model(x_test).detach().numpy() u_true np.sin(np.pi * x_test.numpy()) plt.figure(figsize(8, 4)) plt.plot(x_test.numpy(), u_true, labelExact: sin(pi*x), linewidth2) plt.plot(x_test.numpy(), u_pred, --, labelPINN prediction, linewidth2) plt.legend() plt.xlabel(x) plt.ylabel(u(x)) plt.show()我实测下来这个简单问题在Adam训练5000轮以后最大绝对误差能降到0.01以下。这已经足够说明PINN的原理是行得通的。如果误差一直下不去问题大概率出在采样范围、学习率或者网络层数这些超参数上。4. 高频踩坑记录与调试心得4.1 采样点分布比数量更重要我第一次跑PINN的时候内部点固定取了500个均匀网格点训练结果在网格点附近还行但在两个网格点中间的区域出现明显波动。后来改成每次迭代随机采样效果立刻好了很多。随机采样让网络在每个epoch看到的点都不一样这相当于变相增加了训练样本量也避免了网络“背住”固定点的输出。对于二维或三维问题建议在边界附近加密采样因为物理量往往在边界附近变化最剧烈比如流体力学里的边界层效应。4.2 梯度问题激活函数选择与学习率前面提过Tanh是PINN的首选激活函数。如果用ReLU二阶导为0残差恒等于某个恒定值根本学不动。另一个容易踩的坑是学习率设置。PINN的PDE残差和边界损失之间的量级可能差很多学习率太大容易震荡太小收敛极慢。我常用的策略是先用Adam 1e-3训练几千轮等损失曲线平稳后再切换到L-BFGS做几百轮精细优化。L-BFGS是二阶优化算法对PINN这种目标函数光滑、变量维度不高的问题非常有效往往可以在Adam之后把误差再降低一个数量级。# Adam 粗调 optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(3000): ... # L-BFGS 精调 optimizer torch.optim.LBFGS(model.parameters(), lr0.1) def closure(): optimizer.zero_grad() loss total_loss(model, x_res) loss.backward() return loss for step in range(500): optimizer.step(closure)注意L-BFGS的闭包函数里必须调用backward()这是它的固定用法。4.3 损失权重不同损失项量级不匹配怎么办在更复杂的PINN问题里PDE残差、边界条件、初始条件的损失可能不在一个量级上。比如边界条件损失已经降到1e-5而PDE残差还在1e-1这时候梯度更新会严重偏向PDE项导致边界条件被破坏。解决办法是给不同损失项加权重系数训练过程中根据实际损失量级动态调整。最简单的方式是让所有权重加起来为1然后按量级比例分配loss 100.0 * loss_pde 1.0 * loss_bc更高级的做法是训练过程中自适应调整权重比如简单的“反向传播时比较梯度范数”的方法。新手阶段我建议先手动调把PDE残差和边界损失的平均量级压到差不多再继续训练。4.4 边界条件处理硬约束更省事PINN处理边界条件有两种思路软约束和硬约束。软约束是把边界损失加到总损失里靠优化器去逼近边界值实现简单但需要调节权重。硬约束是把网络输出构造为自动满足边界条件的函数这样边界损失直接从损失函数里删除省心太多。比如对于(u(0)0)、(u(1)0)这个边界条件可以令(u_{net}(x) x \cdot (1-x) \cdot N(x))其中(N(x))是原始网络的输出。这样无论网络怎么训练(u_{net}(0))和(u_{net}(1))都严格等于0边界条件被精确满足。这个方法在边界条件简单的时候非常好用强烈推荐。4.5 常见问题速查表现象可能原因解决办法损失一直不降学习率太大或激活函数不合适调低学习率改用Tanh训练震荡严重损失权重失衡调整PDE/边界损失的权重预测曲线严重偏离真解边界条件没学进去改用硬约束或增大边界损失权重二阶导报错缺少create_graphTrue在gud上补上该参数边界区域误差大边界附近采样点太少边界附近加密采样结果依赖初始随机种子网络太浅或采样太少增加层数和神经元数量5. 从一维到真正的物理问题进阶方向与扩展思路5.1 处理瞬态问题加一个时间维度稳态方程是最简单的PINN入门问题。如果你要处理瞬态热传导、波动方程这类含时间项的问题做法也很直接把时间(t)作为一个额外的输入拼到网络输入里然后在时空联合域内采样。这样网络学到的就是(u(x,t))这个时空函数。损失函数里除了PDE残差和边界条件还要加上初始条件[ \mathcal{L}{IC} \frac{1}{N}\sum{i1}^{N} \left( u(x_i, 0) - u_0(x_i) \right)^2 ]网络输入维度从(1)变成(2)但整体代码框架基本不变。5.2 几何复杂怎么办坐标变换与区域采样对于圆形、复杂曲面这类几何最容易犯的错误是在全域均匀采样导致边界条件学习的效率很低。正确的做法是在边界附近加密采样或者对几何做坐标变换。比如圆域问题可以转成极坐标让(r)和(\theta)作为网络输入。还有一种技巧叫“硬几何约束”在边界上用一个函数(\phi(x)0)来隐式描述区域把网络输出乘以(\phi(x))来强制满足边界。这在处理三维复杂几何时非常有价值。5.3 反问题从数据反推物理参数PINN一个非常有吸引力的应用场景是反问题就是已知部分观测数据反推方程中的未知参数。比如方程里有个导热系数(k)是未知的你可以把它定义为一个可训练的变量类似网络参数在训练过程中和网络权重一起更新。k torch.nn.Parameter(torch.tensor([2.0], dtypetorch.float32)) def pde_residual_with_k(model, x): ... residual -k * u_xx - f return residual # 优化器里加入k optimizer torch.optim.Adam(list(model.parameters()) [k], lr1e-3)训练结束后(k)的数值会被自动反推出来。我当年第一次跑通这个功能时非常震撼因为传统方法要做反演通常需要迭代求解正问题很多次计算量巨大而PINN“正问题”和“反问题”在代码层面竟然只差了一个Parameter的定义。5.4 关于PINN局限性的几句个人体会最后聊几句大实话。PINN不是万能的它在某些问题上会遇到严重的训练困难比如高频问题、多尺度问题、强对流占主导的流体问题。这些场景下原始的PINN收敛很慢甚至训练不收敛。学术界这几年提出了很多改进方案比如用傅里叶特征嵌入输入、自适应损失权重、分域训练、注意力机制等。我个人的体会是PINN最大的价值不在于“替代传统求解器”而在于它打破了“数据”和“物理规律”之间的高墙。你可以往里面塞实验数据可以塞仿真数据可以塞边界条件甚至可以在线更新数据——所有这些都通过同一个loss函数优雅地融合在一起。如果你正在做某个工业仿真、实验数据处理或者预测类项目完全可以把PINN当成一个“带物理常识的回归工具”在传统方法不擅长的场景下往往能拿到意想不到的效果。最后再分享一个我常用的调试小技巧先不要急着上大网络、大数据先拿一个最简单的解析解问题比如本文的(\sin(\pi x))把整个流程跑通然后逐步增加复杂度和噪声。PINN的调试其实比深度学习更容易因为物理方程本身就是最可靠的“标注数据”和“评价标准”——你的网络学得对不对拿解析解或者实验测量一对比就有定论。
从零手写PINN：用物理信息神经网络求解偏微分方程
做物理模拟和机器学习交叉方向这几年我最大的感受是真正有价值的工具往往是那种能让你在两类知识之间自由穿梭的东西。PINN物理信息神经网络Physics-Informed Neural Network就是这样一个存在。它能让神经网络在拟合数据的同时严格遵循物理方程——比如热传导、流体运动、结构形变——真正做到“给神经网络注入物理常识”。这篇文章我想写给两类人一类是懂点Python但一看到偏微分方程PDE就心里发怵的物理小白另一类是懂物理但一直觉得神经网络只是个黑箱工具的工程师或研究者。我会把一个最小可用的PINN从零手写出来用一维热传导方程或泊松方程作为贯穿全篇的算例把里面的核心细节、训练要点、踩坑经验全部分享出来让你不依赖任何现成框架也能理解PINN的本质并且能把这套思路迁移到自己的问题上。1. 先搞懂PINN在做什么给神经网络加“物理约束”1.1 什么是PINN它和普通神经网络差在哪普通神经网络做回归或者拟合本质上是靠大量输入输出样本去逼近某个未知映射。你把一万个点的x和u(x)丢进去网络学到的就是“在这些点上输出这些值”的插值规律。问题在于如果样本分布不均匀、边界区域样本稀疏网络学出来的曲线可能完全不符合物理规律甚至会给出负浓度、负温度这种荒谬结果。PINN的思路不一样。它在原有的数据拟合损失之外额外引入了一个“物理残差损失”说白了就是让网络输出u被代进物理方程后方程左边的计算结果尽量等于0。比如热传导方程左边是 ∂u/∂t - α∇²u理想情况下这个式子恒等于0。PINN会让网络输出在这条约束下尽量成立同时边界条件和初始条件也要对齐。这样一来即使某些区域没有数据只要有物理方程在那里管着网络输出就不会“跑飞”。你可以把它想象成给神经网络装了一套物理定律的“交通规则”它可以在数据稀疏的地方按规律外推而不是瞎猜。1.2 PINN的核心公式损失函数里发生了什么PINN的损失函数一般长这样[ \mathcal{L} \lambda_{PDE} \mathcal{L}{PDE} \lambda{BC} \mathcal{L}{BC} \lambda{IC} \mathcal{L}{IC} \lambda{data} \mathcal{L}_{data} ](\mathcal{L}_{PDE})把网络输出代入控制方程后的残差平方和。(\mathcal{L}_{BC})在边界上网络输出与已知边界条件的差距。(\mathcal{L}_{IC})瞬态问题里在初始时刻的差距。(\mathcal{L}_{data})如果有真实实验数据/观测数据就再加一个数据拟合项。所有微分项比如 (\partial u/\partial t)、(\partial^2 u/\partial x^2)都不是用有限差分去近似而是用神经网络的自动微分autograd算出来的。这是PINN最巧妙的地方也是整个方法能够落地的技术基础。自动微分能精确计算网络输出对输入的任意阶导数而且速度很快。1.3 为什么不能用纯数值方法替代传统求解器的几个痛点经典数值方法如有限元、有限体积、有限差分在网格规整、几何简单、材料参数稳定的问题上已经很成熟了。但有几个痛点一直存在复杂几何网格划分费时费力特别是三维问题。反问题由部分观测数据反推物理参数传统方法处理起来麻烦需要频繁重算正问题。高维问题的网格点数随维度爆炸增长。多物理场耦合时不同场的网格需求不一致非常难协调。PINN的好处是网格无关、天然适合反问题、能很方便地融合不同来源的数据。它当然不是万能的但在不少场景下确实比传统方法灵活得多。2. 动手前的准备Python环境与核心库2.1 环境搭建一步到位写PINN不需要特别复杂的依赖我推荐直接用Miniconda管理环境避免不同项目之间的包版本冲突。新建一个环境conda create -n pinn python3.10 conda activate pinn然后安装核心库。我用的是PyTorch因为它的自动微分API用起来最顺手pip install torch --index-url https://download.pytorch.org/whl/cpu pip install matplotlib numpy如果之后想尝试更上层的封装可以再装DeepXDE或者PyDREAM但第一遍我建议先别装自己手写一遍才能真正理解PINN的机制。2.2 自动微分PINN背后的“引擎”自动微分是PyTorch、TensorFlow这类深度学习框架的基础能力。它会把你的网络计算过程变成一个计算图然后通过链式法则反着算出每个中间变量对输入的导数。举个例子你定义一个函数 (u 2x^3 \sin(x))在PyTorch里import torch x torch.tensor([0.5], requires_gradTrue) u 2 * x**3 torch.sin(x) u.backward() print(x.grad) # 这是 du/dx 在 x0.5 处的值PINN要计算的是一阶导、二阶导甚至更高阶导。二阶导需要做两次反传或者在构造计算图时保留中间梯度后再求一次x torch.tensor([0.5], requires_gradTrue) u 2 * x**3 torch.sin(x) # 一阶导 u_x torch.autograd.grad(u, x, create_graphTrue, retain_graphTrue)[0] # 二阶导 u_xx torch.autograd.grad(u_x, x, create_graphTrue, retain_graphTrue)[0]这里的create_graphTrue是关键它让一阶导的计算图也被保留下来这样才能继续对一阶导再求一次导数。第一次写PINN的时候经常会忘记这个参数结果一算二阶导就报错这是最常见的入门坑。2.3 选算例从“一维稳态热传导”开始PINN可以解非常复杂的问题但第一个算例一定要足够简单让你能一眼看出网络学得对不对。我个人强烈推荐一维稳态热传导方程泊松方程作为入门算例[ -\frac{d^2 u}{dx^2} \pi^2 \sin(\pi x), \quad x \in [0, 1] ]边界条件[ u(0)0, \quad u(1)0 ]这个方程的真解是 (u(x)\sin(\pi x))完美是一个光滑的钟形曲线。你训练完直接把网络输出和真解画在一起一眼就知道有没有学对。而且它可以手工推导出残差表达式调试起来信息量很大。3. 从零手写一个最小可用的PINN泊松方程实操3.1 物理问题定义与网络结构选择我们要求解的问题是上面那个泊松方程。它的物理意义可以理解为一根两端温度固定为0的金属杆内部有某种热源分布最终达到稳态后的温度分布。温度分布就是我们要逼近的 (u(x))。PINN里的神经网络本质上是一个函数逼近器输入是坐标(x)输出是物理量(u)。对于一维问题网络结构的自由度很大我实测下来推荐用3到4层全连接层、每层32到64个神经元、激活函数选Tanh。为什么选Tanh而不是ReLU因为PINN需要计算网络的二阶导数ReLU在0点处不可导一阶导数本身就是分段常数二阶导数恒为0根本没法用来表达物理方程的曲率信息。Tanh光滑且二阶导丰富是目前PINN实践中最稳妥的默认选择。网络定义如下import torch import torch.nn as nn class PINN(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(1, 32), nn.Tanh(), nn.Linear(32, 32), nn.Tanh(), nn.Linear(32, 32), nn.Tanh(), nn.Linear(32, 1) ) def forward(self, x): return self.net(x)这里的输入是(x)输出是预测的(u)。相比普通神经网络PINN的网络结构本身没有太多特别之处真正的核心差异在于损失函数。3.2 核心代码PDE残差怎么算接下来是最关键的部分如何把泊松方程变成损失函数。我们需要计算网络输出的二阶导数(u_{xx})然后代入方程[ loss_{PDE} \frac{1}{N} \sum_{i1}^{N} \left( -\frac{d^2 u}{dx^2} - \pi^2 \sin(\pi x) \right)^2 ]代码实现中我用torch.autograd.grad来求导。为了计算二阶导必须开启create_graphTruedef pde_residual(model, x): x x.requires_grad_(True) u model(x) # 一阶导 u_x torch.autograd.grad( u, x, grad_outputstorch.ones_like(u), create_graphTrue, retain_graphTrue )[0] # 二阶导 u_xx torch.autograd.grad( u_x, x, grad_outputstorch.ones_like(u_x), create_graphTrue, retain_graphTrue )[0] # 方程残差 -u_xx - f(x) 0 f (torch.pi ** 2) * torch.sin(torch.pi * x) residual -u_xx - f return residual有人可能会问为什么grad_outputs要传torch.ones_like(u)因为torch.autograd.grad对非标量输出需要指定“上游梯度”。这里我们希望每个样本点上的输出都独立计算梯度所以上游梯度全设为1相当于对每个点的输出分别求和之后再做反向传播。3.3 边界条件与损失组装边界条件部分实现得更直接。我们已知(u(0)0)、(u(1)0)只要把模型在这两个点上的输出和0做均方误差即可def boundary_loss(model): x_bc torch.tensor([[0.0], [1.0]], requires_gradTrue) u_bc model(x_bc) return torch.mean((u_bc - 0.0) ** 2)总损失由两部分组成PDE残差损失和边界损失。注意初始条件这里没有因为是稳态问题。如果你要解瞬态问题还要在初始时刻(t0)上额外加一项。def total_loss(model, x_res): res pde_residual(model, x_res) loss_pde torch.mean(res ** 2) loss_bc boundary_loss(model) return loss_pde loss_bc3.4 训练循环Adam打底少量迭代就能看到效果训练循环和普通深度学习几乎一样model PINN() optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(10000): # 内部采样点用于计算PDE残差 x_res torch.rand(256, 1) * 2 - 1 # [-1, 1]区间 # 注意我们的域是[0,1]所以下面采样时要改一下这里保持[0,1] x_res torch.rand(256, 1) # [0, 1]区间 loss total_loss(model, x_res) optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 500 0: print(fEpoch {epoch}, Loss: {loss.item():.6f})这里有个细节值得注意PDE残差点每次训练迭代都重新随机采样。这相当于一种无限样本增强网络每次看到的都是新的空间位置能有效避免过拟合。PINN不像传统深度学习那样需要固定的训练集它用的是“在定义域内在线采样”的方式采样策略直接影响训练效果。3.5 训练效果评估与可视化训练完成后把网络预测和精确解画在一起import numpy as np import matplotlib.pyplot as plt x_test torch.linspace(0, 1, 200).reshape(-1, 1) u_pred model(x_test).detach().numpy() u_true np.sin(np.pi * x_test.numpy()) plt.figure(figsize(8, 4)) plt.plot(x_test.numpy(), u_true, labelExact: sin(pi*x), linewidth2) plt.plot(x_test.numpy(), u_pred, --, labelPINN prediction, linewidth2) plt.legend() plt.xlabel(x) plt.ylabel(u(x)) plt.show()我实测下来这个简单问题在Adam训练5000轮以后最大绝对误差能降到0.01以下。这已经足够说明PINN的原理是行得通的。如果误差一直下不去问题大概率出在采样范围、学习率或者网络层数这些超参数上。4. 高频踩坑记录与调试心得4.1 采样点分布比数量更重要我第一次跑PINN的时候内部点固定取了500个均匀网格点训练结果在网格点附近还行但在两个网格点中间的区域出现明显波动。后来改成每次迭代随机采样效果立刻好了很多。随机采样让网络在每个epoch看到的点都不一样这相当于变相增加了训练样本量也避免了网络“背住”固定点的输出。对于二维或三维问题建议在边界附近加密采样因为物理量往往在边界附近变化最剧烈比如流体力学里的边界层效应。4.2 梯度问题激活函数选择与学习率前面提过Tanh是PINN的首选激活函数。如果用ReLU二阶导为0残差恒等于某个恒定值根本学不动。另一个容易踩的坑是学习率设置。PINN的PDE残差和边界损失之间的量级可能差很多学习率太大容易震荡太小收敛极慢。我常用的策略是先用Adam 1e-3训练几千轮等损失曲线平稳后再切换到L-BFGS做几百轮精细优化。L-BFGS是二阶优化算法对PINN这种目标函数光滑、变量维度不高的问题非常有效往往可以在Adam之后把误差再降低一个数量级。# Adam 粗调 optimizer torch.optim.Adam(model.parameters(), lr1e-3) for epoch in range(3000): ... # L-BFGS 精调 optimizer torch.optim.LBFGS(model.parameters(), lr0.1) def closure(): optimizer.zero_grad() loss total_loss(model, x_res) loss.backward() return loss for step in range(500): optimizer.step(closure)注意L-BFGS的闭包函数里必须调用backward()这是它的固定用法。4.3 损失权重不同损失项量级不匹配怎么办在更复杂的PINN问题里PDE残差、边界条件、初始条件的损失可能不在一个量级上。比如边界条件损失已经降到1e-5而PDE残差还在1e-1这时候梯度更新会严重偏向PDE项导致边界条件被破坏。解决办法是给不同损失项加权重系数训练过程中根据实际损失量级动态调整。最简单的方式是让所有权重加起来为1然后按量级比例分配loss 100.0 * loss_pde 1.0 * loss_bc更高级的做法是训练过程中自适应调整权重比如简单的“反向传播时比较梯度范数”的方法。新手阶段我建议先手动调把PDE残差和边界损失的平均量级压到差不多再继续训练。4.4 边界条件处理硬约束更省事PINN处理边界条件有两种思路软约束和硬约束。软约束是把边界损失加到总损失里靠优化器去逼近边界值实现简单但需要调节权重。硬约束是把网络输出构造为自动满足边界条件的函数这样边界损失直接从损失函数里删除省心太多。比如对于(u(0)0)、(u(1)0)这个边界条件可以令(u_{net}(x) x \cdot (1-x) \cdot N(x))其中(N(x))是原始网络的输出。这样无论网络怎么训练(u_{net}(0))和(u_{net}(1))都严格等于0边界条件被精确满足。这个方法在边界条件简单的时候非常好用强烈推荐。4.5 常见问题速查表现象可能原因解决办法损失一直不降学习率太大或激活函数不合适调低学习率改用Tanh训练震荡严重损失权重失衡调整PDE/边界损失的权重预测曲线严重偏离真解边界条件没学进去改用硬约束或增大边界损失权重二阶导报错缺少create_graphTrue在gud上补上该参数边界区域误差大边界附近采样点太少边界附近加密采样结果依赖初始随机种子网络太浅或采样太少增加层数和神经元数量5. 从一维到真正的物理问题进阶方向与扩展思路5.1 处理瞬态问题加一个时间维度稳态方程是最简单的PINN入门问题。如果你要处理瞬态热传导、波动方程这类含时间项的问题做法也很直接把时间(t)作为一个额外的输入拼到网络输入里然后在时空联合域内采样。这样网络学到的就是(u(x,t))这个时空函数。损失函数里除了PDE残差和边界条件还要加上初始条件[ \mathcal{L}{IC} \frac{1}{N}\sum{i1}^{N} \left( u(x_i, 0) - u_0(x_i) \right)^2 ]网络输入维度从(1)变成(2)但整体代码框架基本不变。5.2 几何复杂怎么办坐标变换与区域采样对于圆形、复杂曲面这类几何最容易犯的错误是在全域均匀采样导致边界条件学习的效率很低。正确的做法是在边界附近加密采样或者对几何做坐标变换。比如圆域问题可以转成极坐标让(r)和(\theta)作为网络输入。还有一种技巧叫“硬几何约束”在边界上用一个函数(\phi(x)0)来隐式描述区域把网络输出乘以(\phi(x))来强制满足边界。这在处理三维复杂几何时非常有价值。5.3 反问题从数据反推物理参数PINN一个非常有吸引力的应用场景是反问题就是已知部分观测数据反推方程中的未知参数。比如方程里有个导热系数(k)是未知的你可以把它定义为一个可训练的变量类似网络参数在训练过程中和网络权重一起更新。k torch.nn.Parameter(torch.tensor([2.0], dtypetorch.float32)) def pde_residual_with_k(model, x): ... residual -k * u_xx - f return residual # 优化器里加入k optimizer torch.optim.Adam(list(model.parameters()) [k], lr1e-3)训练结束后(k)的数值会被自动反推出来。我当年第一次跑通这个功能时非常震撼因为传统方法要做反演通常需要迭代求解正问题很多次计算量巨大而PINN“正问题”和“反问题”在代码层面竟然只差了一个Parameter的定义。5.4 关于PINN局限性的几句个人体会最后聊几句大实话。PINN不是万能的它在某些问题上会遇到严重的训练困难比如高频问题、多尺度问题、强对流占主导的流体问题。这些场景下原始的PINN收敛很慢甚至训练不收敛。学术界这几年提出了很多改进方案比如用傅里叶特征嵌入输入、自适应损失权重、分域训练、注意力机制等。我个人的体会是PINN最大的价值不在于“替代传统求解器”而在于它打破了“数据”和“物理规律”之间的高墙。你可以往里面塞实验数据可以塞仿真数据可以塞边界条件甚至可以在线更新数据——所有这些都通过同一个loss函数优雅地融合在一起。如果你正在做某个工业仿真、实验数据处理或者预测类项目完全可以把PINN当成一个“带物理常识的回归工具”在传统方法不擅长的场景下往往能拿到意想不到的效果。最后再分享一个我常用的调试小技巧先不要急着上大网络、大数据先拿一个最简单的解析解问题比如本文的(\sin(\pi x))把整个流程跑通然后逐步增加复杂度和噪声。PINN的调试其实比深度学习更容易因为物理方程本身就是最可靠的“标注数据”和“评价标准”——你的网络学得对不对拿解析解或者实验测量一对比就有定论。
