简介这是一份基于长短期记忆循环神经网络的PM2.5预测方法研究论文资料适合人工智能、环境科学以及空气质量预测相关方向的研究生和工程师阅读。文章针对PM2.5浓度受多因素影响且变化过程具有突发性、非线性和不确定性的问题提出了一种融合灰色关联度分析的长短期记忆循环神经网络预测模型。建模过程中先对多项地面气象观测数据和空气污染物监测指标做关联强度分析筛选出主要影响因子随后对原始数据进行平滑处理并把时间序列问题转化为监督学习问题进而搭建多变量长短期记忆循环神经网络实现PM2.5日值浓度的准确预测。实验采用北京市2010年至2017年的气象与大气污染物数据结果表明模型能够较好地捕捉PM2.5日变化趋势。资源包内为1个PDF文档约1.1MB已有176人学习内容涵盖完整的论文摘要、方法框架、实验设置和结果分析可作为时序预测及环境大数据建模的参考案例。1. 为什么 PM2.5 预测会成为 LSTM 循环神经网络最典型的落地场景PM2.5 预测表面上是个时序回归问题可真把 LSTM 循环神经网络用到监测数据上的人都知道跑通一个能出数的模型不难难的是让预测在污染累积和消散的转折点不吃亏。浓度序列不是平稳信号它带日周期性、天气系统尺度的缓变还有突发秸秆焚烧、沙尘这类尖峰普通的前馈网络和线性模型在这些转折处几乎必崩。LSTM 的价值恰恰在于用门控机制把「记住多久以前的污染过程」变成了可训练的参数这让它成了这类任务里性价比最高的选择。这篇笔记面向两种人一是想复现课程设计或论文结果的学生二是要做站点级空气质量预测的工程师。我会按数据准备、模型搭建、训练评估、踩坑记录的顺序给出一套能直接照着写的 PyTorch 落地方案。2. LSTM 凭什么预测 PM2.5序列建模的选型逻辑与网络结构2.1 从 RNN 到 LSTM普通循环神经网络记不住该记的东西循环神经网络的核心想法是让网络在处理当前时刻输入时同时看到「过去时刻的隐状态」从而形成对序列的记忆。理论上一层的 RNN 能记住任意长的依赖但实际用反向传播训练时梯度在时间维度上连乘超过一定步数就会指数级衰减或爆炸这被叫做梯度消失 / 梯度爆炸。结果就是普通 RNN 只能记住几步之内的信息再久远的影响就丢了。LSTM 在 RNN 基础上加了三条门——遗忘门、输入门、输出门以及一条贯穿时间步的细胞状态cell state。遗忘门决定上一时刻的状态保留多少输入门决定新信息写入多少输出门决定当前隐状态对外暴露多少。这套机制让梯度在细胞状态这条「高速公路」上流动长期依赖变得可训。放到 PM2.5 场景里网络可以自主学到「昨晚的静稳天气还在影响今天的污染累积」而不是靠人工构造滞后特征去硬凑。2.2 PM2.5 序列的三个数据特征与 LSTM 的对应关系PM2.5 小时浓度序列有几个直接影响建模的特征LSTM 的每个设计点几乎都对应其中一条第一是强自相关与周期叠加。浓度在 24 小时尺度上有早晚高峰的日周期在 7 到 10 天尺度上有天气过程驱动的缓慢起伏。LSTM 的多层堆叠能同时表达不同时间尺度的模式底层抓小时级变化高层抓天级趋势。这比单一时间窗口的 ARIMA 要灵活。第二是非平稳与突变。一场冷锋过境能在两小时内把浓度从 200 打到 30这种突变不是均值回归能解释的。LSTM 的遗忘门在突变成事实之前可以学会「主动丢掉过时的累积信息」从而避免旧状态把预测拉偏。当然这需要训练数据里见过足够多的突变样本后面避坑章节会专门说。第三是多变量耦合。PM2.5 不只由自身历史决定湿度、风速、气压、边界层高度都参与作用。LSTM 的输入层天然支持多维特征拼接不需要手动构造交互项。实践经验是湿度与 PM2.5 呈正相关风速呈负相关这两个特征对模型增益最明显。2.3 单变量还是多变量输入特征的取舍很多人一上来就把能拿到的气象特征全塞进模型这是一个常见误区。特征越多训练所需样本量越大而且气象预报本身的误差会在推理时传导进预测结果。我的建议分两种情况如果做的是回溯分析或论文复现用单变量仅 PM2.5 历史浓度 小时序号或 sin/cos 编码就够出好看的结果LSTM 能自己从浓度序列里学到日周期。如果做的是业务预测比如今天要预报未来 24 小时的浓度那么必须用多变量但要严格控制特征数量。我一般选 5 个以内PM2.5、PM10、湿度、风速、气压。原因很直接PM10 与 PM2.5 同源性强湿度与吸湿增长直接相关风速和气压是天气过程的核心表征。特征选定后要做归一化。常见做法是 MinMaxScaler 缩放到 [0,1]因为 LSTM 内部用的是 tanh 激活输入落在 0-1 区间梯度更平稳。注意归一化参数必须只用训练集拟合验证集和测试集用同一套参数转换否则会引入未来信息泄漏这个问题在避坑章展开。3. 数据准备从监测记录到 LSTM 能吃的样本3.1 数据字段与缺失值处理公开可用的监测数据通常是 CSV一行一个站点一小时字段包括时间戳、PM2.5、PM10、SO2、NO2、CO、O3 以及气象站的气温、气压、湿度、风速风向。做 PM2.5 预测至少需要连续 3 个月以上的小时级数据少于这个量 LSTM 很难学到跨天的天气过程模式一年以上比较理想。拿到数据的第一个动作是检查时间戳是否连续。很多数据集存在整点缺失或重复行缺失的原因多是仪器校准或传输故障。处理缺失值的顺序很重要先剔除明显异常负值、大于 1000 的浓度再做插值。线性插值只适合缺 1-2 个小时的短空缺超过 6 小时连续缺失我建议直接用前后 24 小时同刻均值填充再不行就把该段整段剔除避免让模型去学一段假数据。import pandas as pd import numpy as np df pd.read_csv(pm25_hourly.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 生成完整时间轴找出缺哪些小时 full_index pd.date_range(startdf[time].min(), enddf[time].max(), freqh) df df.set_index(time).reindex(full_index).reset_index() # 小于等于 2 小时的缺口用线性插值 df[pm25] df[pm25].interpolate(limit2, limit_areainside) # 连续缺失超过 6 小时的整段标记为无效 df[valid] df[pm25].notna().astype(int) df[block] (df[valid].diff() ! 0).cumsum() block_size df.groupby(block)[valid].transform(sum) df.loc[(df[valid] 0) (block_size 6), pm25] np.nan df df.dropna(subset[pm25]).reset_index(dropTrue)这里先按小时频率重建时间索引把隐式缺失变成显式 NaN然后用interpolate只填补 2 小时以内的短洞。后面用block分组统计连续缺失的长度超过 6 小时的段整段丢弃因为这些长洞前后数据可能来自完全不同的天气过程。插值参数limit2是可调的数据质量好可以放到 4 小时超过 6 小时建议不要依赖插值。3.2 滑窗构造样本seq_len、预测步长与数据集切分LSTM 的输入是形如 (batch, seq_len, features) 的三维张量。从连续时间序列里切窗是标准做法用过去seq_len小时的特征去预测未来horizon小时的 PM2.5。seq_len 的选择我一般从 24 小时起步因为日周期是这类任务最稳定的模式如果数据量大、要捕捉天气过程可以试试 72 小时。horizon1 时只预测下一个小时baseline 很容易超越业务上更常用 horizon24但直接预测 24 小时后比递归预测更难模型通常只能学到均值回归这一点后面验证章会展开。def make_samples(features, target, seq_len24, horizon1): X, y [], [] for i in range(len(features) - seq_len - horizon 1): X.append(features[i: i seq_len]) y.append(target[i seq_len: i seq_len horizon]) return np.array(X), np.array(y) # features 是归一化后的多维数组target 是归一化后的 PM2.5 X, y make_samples(features, target, seq_len24, horizon1) print(X.shape, y.shape) # (N, 24, n_features), (N, 1) # 按时间顺序切分严禁随机打乱 train_n int(len(X) * 0.7) val_n int(len(X) * 0.15) X_train, y_train X[:train_n], y[:train_n] X_val, y_val X[train_n: train_n val_n], y[train_n: train_n val_n] X_test, y_test X[train_n val_n:], y[train_n val_n:]这里有两个关键点。第一make_samples的horizon参数决定预测目标时刻我在代码里取的是iseq_len到iseq_lenhorizon-1也就是说窗口结束之后才开始预测保证输入与目标之间没有时间重叠。如果手滑把窗口末尾的浓度也算进目标模型等于提前看到了答案训练损失低得离谱这属于典型的未来泄漏。第二数据集切分必须按时间顺序不能随机打乱。随机打乱会让模型在训练时看到未来数据验证集和测试集的意义就完全失效了。4. 用 PyTorch 落地 LSTM 预测模型模型定义、训练循环与反归一化4.1 模型类怎么写从 PyTorch 源码视角理解 nn.LSTM 的参数PyTorch 的nn.LSTM封装了完整的门控计算但很多人对它的输入输出维度理解不到位导致代码跑不通。标准用法是nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue)其中input_size是每个时间步的特征数hidden_size是隐状态维度num_layers是堆叠层数。设置batch_firstTrue之后输入张量形状是(batch, seq_len, input_size)如果不设置默认是(seq_len, batch, input_size)新手最容易在这个参数上翻车。import torch import torch.nn as nn class PM25LSTM(nn.Module): def __init__(self, input_size, hidden_size64, num_layers2, output_size1, dropout0.2): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0 ) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x: (batch, seq_len, input_size) out, _ self.lstm(x) # out: (batch, seq_len, hidden_size) out out[:, -1, :] # 取最后一个时间步的隐状态 out self.fc(out) # (batch, output_size) return outforward里注释标出了每一步张量的形状变化重点在out[:, -1, :]这一行LSTM 会输出整个序列每个时间步的隐状态但我们做的是用整个窗口去预测未来所以只取最后一个时间步的隐状态接全连接层。dropout只在层数大于 1 时生效这是 PyTorch 的默认行为单层 LSTM 传 dropout 参数会被忽略。hidden_size64和num_layers2是这类任务比较稳的起点数据量大可以加到 128但隐状态翻倍训练时间也近似翻倍收益未必成比例。4.2 训练循环损失函数、优化器与梯度裁剪训练 LSTM 和训练其他神经网络没有本质区别但有三个针对循环网络的专属设置梯度裁剪、学习率调度、随机种子固定。梯度裁剪尤其重要因为 LSTM 在时间维度上反向传播即使有门控机制长序列的梯度范数仍可能突然变大导致 loss 跳到 NaN。import torch.optim as optim from torch.utils.data import TensorDataset, DataLoader torch.manual_seed(42) np.random.seed(42) model PM25LSTM(input_sizeX_train.shape[2], hidden_size64, num_layers2, output_sizey_train.shape[1]) optimizer optim.Adam(model.parameters(), lr1e-3) scheduler optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 ) criterion nn.MSELoss() train_ds TensorDataset(torch.tensor(X_train, dtypetorch.float32), torch.tensor(y_train, dtypetorch.float32)) train_loader DataLoader(train_ds, batch_size64, shuffleFalse) best_val_loss float(inf) for epoch in range(100): model.train() epoch_loss 0.0 for xb, yb in train_loader: optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() # 关键限制梯度范数防止长序列训练时梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() epoch_loss loss.item() * xb.size(0) model.eval() with torch.no_grad(): val_pred model(torch.tensor(X_val, dtypetorch.float32)) val_loss criterion(val_pred, torch.tensor(y_val, dtypetorch.float32)) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pt)注意shuffleFalse。因为样本是按时间窗口连续切出来的相邻样本高度重叠如果 shuffle 会让训练集内部的数据分布被摊平削弱模型对时序演化的学习。梯度裁剪的max_norm1.0是一个保守值如果训练稳定可以放松到 2.0如果 loss 经常飚高就降到 0.5。ReduceLROnPlateau在验证损失连续 5 个 epoch 不降时把学习率减半这是个相当关键的实用设置——固定学习率跑到底模型经常卡在局部最优附近震荡。4.3 预测与反归一化为什么输出看起来很准是假象训练时的 loss 是在归一化空间里算的数值很小看着赏心悦目。但评估模型真实水平必须把预测值反归一化回原始浓度单位再去算指标。这一步做错的人非常多常见两种错误一是忘了反归一化拿着 0.01 的 loss 到处说模型准确率 99%二是反归一化时用错了 scaler 参数。from sklearn.preprocessing import MinMaxScaler # 假设 scaler 是用训练集拟合的 # 恢复到原始浓度x_real x_norm * (max - min) min pm25_min scaler.data_min_[feature_idx] pm25_max scaler.data_max_[feature_idx] model.eval() with torch.no_grad(): pred_norm model(torch.tensor(X_test, dtypetorch.float32)).numpy() y_test_norm y_test # 只在 PM2.5 这一维做反归一化 pred_real pred_norm * (pm25_max - pm25_min) pm25_min y_test_real y_test_norm * (pm25_max - pm25_min) pm25_min # 计算 RMSE / MAE单位是 ug/m3 rmse np.sqrt(np.mean((pred_real - y_test_real) ** 2)) mae np.mean(np.abs(pred_real - y_test_real)) print(fRMSE {rmse:.1f} ug/m3, MAE {mae:.1f} ug/m3)这里的feature_idx是 PM2.5 在特征矩阵里的列索引。如果用scaler.fit时传入的是全特征矩阵那么data_min_和data_max_是每个特征各自的边界取错列反归一化出的浓度会完全失真。另外MinMaxScaler 对异常值极其敏感如果训练集里有一天沙尘爆表到 800而测试集整体浓度只有 50归一化会把正常范围压得很扁模型分辨率下降。这种情况下可以改 RobustScaler用中位数和四分位距做归一化抗异常值能力强得多。5. 避坑PM2.5 预测里最容易翻车的 5 个地方5.1 坑一未来泄漏——用未来数据训练过去的模型现象训练集上 loss 极低验证集和测试集也漂亮得不像话RMSE 只有个位数但模型一上真实在线数据就完全失效。原因数据预处理阶段不小心把目标时刻的信息混进了输入特征。最常见的泄漏路径有三个。第一是用全局 scaler 拟合全量数据再切训练验证集验证集的信息通过 scaler 参数流入了训练第二是构造特征时用了未来时刻的气象观测值比如用当天的风速预测结果没问题但要确认不是事后的实际观测第三是滑窗索引算错窗口末尾包含了目标时刻本身。解决严格按训练集拟合 scaler特征只允许用t时刻及之前的数据写一个断言检查输入与目标的时间戳不相交。5.2 坑二归一化与反归一化的不一致现象预测曲线整体偏移均值明显偏低或偏高但 RMSE 单独看还行。原因训练时用 MinMaxScaler 把数据压到 [0,1]反归一化时却用了 StandardScaler 的参数或者直接用 train loss 里还原出来的值。我见过不止一次用scaler.inverse_transform(pred_norm)时传入了全特征矩阵结果把 PM2.5 的反归一化乘上了风速的尺度。解决把归一化和反归一化封装成两个函数单测验证「归一化 → 反归一化」之后是否等于原始值误差在 1e-6 级别才算通过。5.3 坑三随机种子不固定实验不可复现现象同一份代码跑两次RMSE 差 20% 甚至更多。原因PyTorch 默认权重初始化是随机的DataLoader 的线程调度也引入随机性。LSTM 的门控参数对初始值敏感两个随机种子可能收敛到完全不同的局部最优。解决训练脚本开头设置三处随机种子——torch.manual_seed(seed)、np.random.seed(seed)如果用了 CUDA 还要torch.cuda.manual_seed_all(seed)。更进一步把DataLoader的generator也固定下来这样即使后面调整 batch 顺序也不会影响结果。5.4 坑四seq_len 拍脑袋定模型学不到关键周期现象无论怎么调 hidden_size 和层数验证 loss 都下不去预测曲线比真实值平滑很多峰值总是被削平。原因seq_len 太短模型只看得到过去 6 小时或 12 小时看不到完整的日周期。PM2.5 的日内演化受边界层日变化控制夜里累积、午后扩散如果窗口只有 6 小时模型无法区分「当前处于上升段还是下降段」。解决从 seq_len24 起步做一个简单的网格实验分别试 12、24、48、72对比验证集 RMSE。通常 24 到 48 之间会有一个明显的拐点超过 72 增益很小但训练时间变长。5.5 坑五只用 RMSE 评价被重污染日带偏现象RMSE 数值不错但重污染日浓度大于 200的预测几乎全错业务方不买账。原因RMSE 对离群值取平方少数几个重污染样本占了 loss 的大部分模型的最优策略是「避开极端预测」也就是回归到均值附近。这在统计上损失最小但业务上恰恰最需要预测准的就是重污染过程。解决评估时同时看 RMSE、MAE 和分污染等级的命中率——比如中度污染以上时预测值与实测差值小于 50 的比例。训练时如果业务更关注重污染可以给高浓度样本加权重或者用加权 MSE 代替普通 MSE。6. 验证模型有没有真本事滚动预测、基线对比与落地边界6.1 从单步预测到滚动多步预测前面的代码只做了 horizon1 的预测即用过去 24 小时预测下一个小时。但业务上几乎总是要明天全天的浓度曲线这就必须做多步预测。常见有两种做法递归预测和直接预测。递归预测是把模型输出的下一步浓度当成输入再预测下下步反复滚动 24 次。它的优点是模型简单缺点是误差逐小时累积到第 12 小时以后预测基本趋于气候均值。直接预测是让模型一次输出 24 个值即把output_size改成 24缺点是单步预测误差被放大 24 倍训练也更难收敛。我的建议是报告中用直接预测展示模型能力上限工程部署用递归预测并每 3 小时用真实观测做一次校正。没有哪种方案是万能的但至少要让读者知道未来 24 小时预测和下一小时预测是两个难度完全不同的任务。6.2 用基线模型给 LSTM 定坐标很多论文里的 LSTM 效果惊艳但它打败的基线往往是用历史均值预测未来这种弱基线。实战里至少要跟两个基线对比一是持久性模型persistence即用当前浓度直接作为未来所有时刻的预测二是线性回归把过去 24 小时的浓度拉平成特征做线性外推。如果 LSTM 在这两个基线面前没有明显优势说明要么数据量不够要么特征设计有问题要么问题本身确实线性可解。我在一个城市站点数据上做过的典型结果是持久性模型 24 小时 RMSE 约 60LSTM 约 45优势大约 25%但如果只看前 6 小时持久性模型有时反而更好。这提醒我们LSTM 不是银弹它的收益主要体现在中长时段的非线性过程演化上。我个人的习惯是每次训练前把随机种子、seq_len、特征列表、验证集指标全部记录到一个实验日志里这样回头看哪次调参有效、哪次是运气一目了然。PM2.5 预测这个方向数据质量比模型结构更值得花时间把清洗和泄漏控制做到位模型哪怕用最简单的单层 LSTM 也能拿出有说服力的结果。希望这篇笔记能帮你少走几趟弯路。本文还有配套的精品资源点击获取
LSTM循环神经网络预测PM2.5：PyTorch完整实现与避坑指南
简介这是一份基于长短期记忆循环神经网络的PM2.5预测方法研究论文资料适合人工智能、环境科学以及空气质量预测相关方向的研究生和工程师阅读。文章针对PM2.5浓度受多因素影响且变化过程具有突发性、非线性和不确定性的问题提出了一种融合灰色关联度分析的长短期记忆循环神经网络预测模型。建模过程中先对多项地面气象观测数据和空气污染物监测指标做关联强度分析筛选出主要影响因子随后对原始数据进行平滑处理并把时间序列问题转化为监督学习问题进而搭建多变量长短期记忆循环神经网络实现PM2.5日值浓度的准确预测。实验采用北京市2010年至2017年的气象与大气污染物数据结果表明模型能够较好地捕捉PM2.5日变化趋势。资源包内为1个PDF文档约1.1MB已有176人学习内容涵盖完整的论文摘要、方法框架、实验设置和结果分析可作为时序预测及环境大数据建模的参考案例。1. 为什么 PM2.5 预测会成为 LSTM 循环神经网络最典型的落地场景PM2.5 预测表面上是个时序回归问题可真把 LSTM 循环神经网络用到监测数据上的人都知道跑通一个能出数的模型不难难的是让预测在污染累积和消散的转折点不吃亏。浓度序列不是平稳信号它带日周期性、天气系统尺度的缓变还有突发秸秆焚烧、沙尘这类尖峰普通的前馈网络和线性模型在这些转折处几乎必崩。LSTM 的价值恰恰在于用门控机制把「记住多久以前的污染过程」变成了可训练的参数这让它成了这类任务里性价比最高的选择。这篇笔记面向两种人一是想复现课程设计或论文结果的学生二是要做站点级空气质量预测的工程师。我会按数据准备、模型搭建、训练评估、踩坑记录的顺序给出一套能直接照着写的 PyTorch 落地方案。2. LSTM 凭什么预测 PM2.5序列建模的选型逻辑与网络结构2.1 从 RNN 到 LSTM普通循环神经网络记不住该记的东西循环神经网络的核心想法是让网络在处理当前时刻输入时同时看到「过去时刻的隐状态」从而形成对序列的记忆。理论上一层的 RNN 能记住任意长的依赖但实际用反向传播训练时梯度在时间维度上连乘超过一定步数就会指数级衰减或爆炸这被叫做梯度消失 / 梯度爆炸。结果就是普通 RNN 只能记住几步之内的信息再久远的影响就丢了。LSTM 在 RNN 基础上加了三条门——遗忘门、输入门、输出门以及一条贯穿时间步的细胞状态cell state。遗忘门决定上一时刻的状态保留多少输入门决定新信息写入多少输出门决定当前隐状态对外暴露多少。这套机制让梯度在细胞状态这条「高速公路」上流动长期依赖变得可训。放到 PM2.5 场景里网络可以自主学到「昨晚的静稳天气还在影响今天的污染累积」而不是靠人工构造滞后特征去硬凑。2.2 PM2.5 序列的三个数据特征与 LSTM 的对应关系PM2.5 小时浓度序列有几个直接影响建模的特征LSTM 的每个设计点几乎都对应其中一条第一是强自相关与周期叠加。浓度在 24 小时尺度上有早晚高峰的日周期在 7 到 10 天尺度上有天气过程驱动的缓慢起伏。LSTM 的多层堆叠能同时表达不同时间尺度的模式底层抓小时级变化高层抓天级趋势。这比单一时间窗口的 ARIMA 要灵活。第二是非平稳与突变。一场冷锋过境能在两小时内把浓度从 200 打到 30这种突变不是均值回归能解释的。LSTM 的遗忘门在突变成事实之前可以学会「主动丢掉过时的累积信息」从而避免旧状态把预测拉偏。当然这需要训练数据里见过足够多的突变样本后面避坑章节会专门说。第三是多变量耦合。PM2.5 不只由自身历史决定湿度、风速、气压、边界层高度都参与作用。LSTM 的输入层天然支持多维特征拼接不需要手动构造交互项。实践经验是湿度与 PM2.5 呈正相关风速呈负相关这两个特征对模型增益最明显。2.3 单变量还是多变量输入特征的取舍很多人一上来就把能拿到的气象特征全塞进模型这是一个常见误区。特征越多训练所需样本量越大而且气象预报本身的误差会在推理时传导进预测结果。我的建议分两种情况如果做的是回溯分析或论文复现用单变量仅 PM2.5 历史浓度 小时序号或 sin/cos 编码就够出好看的结果LSTM 能自己从浓度序列里学到日周期。如果做的是业务预测比如今天要预报未来 24 小时的浓度那么必须用多变量但要严格控制特征数量。我一般选 5 个以内PM2.5、PM10、湿度、风速、气压。原因很直接PM10 与 PM2.5 同源性强湿度与吸湿增长直接相关风速和气压是天气过程的核心表征。特征选定后要做归一化。常见做法是 MinMaxScaler 缩放到 [0,1]因为 LSTM 内部用的是 tanh 激活输入落在 0-1 区间梯度更平稳。注意归一化参数必须只用训练集拟合验证集和测试集用同一套参数转换否则会引入未来信息泄漏这个问题在避坑章展开。3. 数据准备从监测记录到 LSTM 能吃的样本3.1 数据字段与缺失值处理公开可用的监测数据通常是 CSV一行一个站点一小时字段包括时间戳、PM2.5、PM10、SO2、NO2、CO、O3 以及气象站的气温、气压、湿度、风速风向。做 PM2.5 预测至少需要连续 3 个月以上的小时级数据少于这个量 LSTM 很难学到跨天的天气过程模式一年以上比较理想。拿到数据的第一个动作是检查时间戳是否连续。很多数据集存在整点缺失或重复行缺失的原因多是仪器校准或传输故障。处理缺失值的顺序很重要先剔除明显异常负值、大于 1000 的浓度再做插值。线性插值只适合缺 1-2 个小时的短空缺超过 6 小时连续缺失我建议直接用前后 24 小时同刻均值填充再不行就把该段整段剔除避免让模型去学一段假数据。import pandas as pd import numpy as np df pd.read_csv(pm25_hourly.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 生成完整时间轴找出缺哪些小时 full_index pd.date_range(startdf[time].min(), enddf[time].max(), freqh) df df.set_index(time).reindex(full_index).reset_index() # 小于等于 2 小时的缺口用线性插值 df[pm25] df[pm25].interpolate(limit2, limit_areainside) # 连续缺失超过 6 小时的整段标记为无效 df[valid] df[pm25].notna().astype(int) df[block] (df[valid].diff() ! 0).cumsum() block_size df.groupby(block)[valid].transform(sum) df.loc[(df[valid] 0) (block_size 6), pm25] np.nan df df.dropna(subset[pm25]).reset_index(dropTrue)这里先按小时频率重建时间索引把隐式缺失变成显式 NaN然后用interpolate只填补 2 小时以内的短洞。后面用block分组统计连续缺失的长度超过 6 小时的段整段丢弃因为这些长洞前后数据可能来自完全不同的天气过程。插值参数limit2是可调的数据质量好可以放到 4 小时超过 6 小时建议不要依赖插值。3.2 滑窗构造样本seq_len、预测步长与数据集切分LSTM 的输入是形如 (batch, seq_len, features) 的三维张量。从连续时间序列里切窗是标准做法用过去seq_len小时的特征去预测未来horizon小时的 PM2.5。seq_len 的选择我一般从 24 小时起步因为日周期是这类任务最稳定的模式如果数据量大、要捕捉天气过程可以试试 72 小时。horizon1 时只预测下一个小时baseline 很容易超越业务上更常用 horizon24但直接预测 24 小时后比递归预测更难模型通常只能学到均值回归这一点后面验证章会展开。def make_samples(features, target, seq_len24, horizon1): X, y [], [] for i in range(len(features) - seq_len - horizon 1): X.append(features[i: i seq_len]) y.append(target[i seq_len: i seq_len horizon]) return np.array(X), np.array(y) # features 是归一化后的多维数组target 是归一化后的 PM2.5 X, y make_samples(features, target, seq_len24, horizon1) print(X.shape, y.shape) # (N, 24, n_features), (N, 1) # 按时间顺序切分严禁随机打乱 train_n int(len(X) * 0.7) val_n int(len(X) * 0.15) X_train, y_train X[:train_n], y[:train_n] X_val, y_val X[train_n: train_n val_n], y[train_n: train_n val_n] X_test, y_test X[train_n val_n:], y[train_n val_n:]这里有两个关键点。第一make_samples的horizon参数决定预测目标时刻我在代码里取的是iseq_len到iseq_lenhorizon-1也就是说窗口结束之后才开始预测保证输入与目标之间没有时间重叠。如果手滑把窗口末尾的浓度也算进目标模型等于提前看到了答案训练损失低得离谱这属于典型的未来泄漏。第二数据集切分必须按时间顺序不能随机打乱。随机打乱会让模型在训练时看到未来数据验证集和测试集的意义就完全失效了。4. 用 PyTorch 落地 LSTM 预测模型模型定义、训练循环与反归一化4.1 模型类怎么写从 PyTorch 源码视角理解 nn.LSTM 的参数PyTorch 的nn.LSTM封装了完整的门控计算但很多人对它的输入输出维度理解不到位导致代码跑不通。标准用法是nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue)其中input_size是每个时间步的特征数hidden_size是隐状态维度num_layers是堆叠层数。设置batch_firstTrue之后输入张量形状是(batch, seq_len, input_size)如果不设置默认是(seq_len, batch, input_size)新手最容易在这个参数上翻车。import torch import torch.nn as nn class PM25LSTM(nn.Module): def __init__(self, input_size, hidden_size64, num_layers2, output_size1, dropout0.2): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0 ) self.fc nn.Linear(hidden_size, output_size) def forward(self, x): # x: (batch, seq_len, input_size) out, _ self.lstm(x) # out: (batch, seq_len, hidden_size) out out[:, -1, :] # 取最后一个时间步的隐状态 out self.fc(out) # (batch, output_size) return outforward里注释标出了每一步张量的形状变化重点在out[:, -1, :]这一行LSTM 会输出整个序列每个时间步的隐状态但我们做的是用整个窗口去预测未来所以只取最后一个时间步的隐状态接全连接层。dropout只在层数大于 1 时生效这是 PyTorch 的默认行为单层 LSTM 传 dropout 参数会被忽略。hidden_size64和num_layers2是这类任务比较稳的起点数据量大可以加到 128但隐状态翻倍训练时间也近似翻倍收益未必成比例。4.2 训练循环损失函数、优化器与梯度裁剪训练 LSTM 和训练其他神经网络没有本质区别但有三个针对循环网络的专属设置梯度裁剪、学习率调度、随机种子固定。梯度裁剪尤其重要因为 LSTM 在时间维度上反向传播即使有门控机制长序列的梯度范数仍可能突然变大导致 loss 跳到 NaN。import torch.optim as optim from torch.utils.data import TensorDataset, DataLoader torch.manual_seed(42) np.random.seed(42) model PM25LSTM(input_sizeX_train.shape[2], hidden_size64, num_layers2, output_sizey_train.shape[1]) optimizer optim.Adam(model.parameters(), lr1e-3) scheduler optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.5, patience5 ) criterion nn.MSELoss() train_ds TensorDataset(torch.tensor(X_train, dtypetorch.float32), torch.tensor(y_train, dtypetorch.float32)) train_loader DataLoader(train_ds, batch_size64, shuffleFalse) best_val_loss float(inf) for epoch in range(100): model.train() epoch_loss 0.0 for xb, yb in train_loader: optimizer.zero_grad() pred model(xb) loss criterion(pred, yb) loss.backward() # 关键限制梯度范数防止长序列训练时梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() epoch_loss loss.item() * xb.size(0) model.eval() with torch.no_grad(): val_pred model(torch.tensor(X_val, dtypetorch.float32)) val_loss criterion(val_pred, torch.tensor(y_val, dtypetorch.float32)) scheduler.step(val_loss) if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pt)注意shuffleFalse。因为样本是按时间窗口连续切出来的相邻样本高度重叠如果 shuffle 会让训练集内部的数据分布被摊平削弱模型对时序演化的学习。梯度裁剪的max_norm1.0是一个保守值如果训练稳定可以放松到 2.0如果 loss 经常飚高就降到 0.5。ReduceLROnPlateau在验证损失连续 5 个 epoch 不降时把学习率减半这是个相当关键的实用设置——固定学习率跑到底模型经常卡在局部最优附近震荡。4.3 预测与反归一化为什么输出看起来很准是假象训练时的 loss 是在归一化空间里算的数值很小看着赏心悦目。但评估模型真实水平必须把预测值反归一化回原始浓度单位再去算指标。这一步做错的人非常多常见两种错误一是忘了反归一化拿着 0.01 的 loss 到处说模型准确率 99%二是反归一化时用错了 scaler 参数。from sklearn.preprocessing import MinMaxScaler # 假设 scaler 是用训练集拟合的 # 恢复到原始浓度x_real x_norm * (max - min) min pm25_min scaler.data_min_[feature_idx] pm25_max scaler.data_max_[feature_idx] model.eval() with torch.no_grad(): pred_norm model(torch.tensor(X_test, dtypetorch.float32)).numpy() y_test_norm y_test # 只在 PM2.5 这一维做反归一化 pred_real pred_norm * (pm25_max - pm25_min) pm25_min y_test_real y_test_norm * (pm25_max - pm25_min) pm25_min # 计算 RMSE / MAE单位是 ug/m3 rmse np.sqrt(np.mean((pred_real - y_test_real) ** 2)) mae np.mean(np.abs(pred_real - y_test_real)) print(fRMSE {rmse:.1f} ug/m3, MAE {mae:.1f} ug/m3)这里的feature_idx是 PM2.5 在特征矩阵里的列索引。如果用scaler.fit时传入的是全特征矩阵那么data_min_和data_max_是每个特征各自的边界取错列反归一化出的浓度会完全失真。另外MinMaxScaler 对异常值极其敏感如果训练集里有一天沙尘爆表到 800而测试集整体浓度只有 50归一化会把正常范围压得很扁模型分辨率下降。这种情况下可以改 RobustScaler用中位数和四分位距做归一化抗异常值能力强得多。5. 避坑PM2.5 预测里最容易翻车的 5 个地方5.1 坑一未来泄漏——用未来数据训练过去的模型现象训练集上 loss 极低验证集和测试集也漂亮得不像话RMSE 只有个位数但模型一上真实在线数据就完全失效。原因数据预处理阶段不小心把目标时刻的信息混进了输入特征。最常见的泄漏路径有三个。第一是用全局 scaler 拟合全量数据再切训练验证集验证集的信息通过 scaler 参数流入了训练第二是构造特征时用了未来时刻的气象观测值比如用当天的风速预测结果没问题但要确认不是事后的实际观测第三是滑窗索引算错窗口末尾包含了目标时刻本身。解决严格按训练集拟合 scaler特征只允许用t时刻及之前的数据写一个断言检查输入与目标的时间戳不相交。5.2 坑二归一化与反归一化的不一致现象预测曲线整体偏移均值明显偏低或偏高但 RMSE 单独看还行。原因训练时用 MinMaxScaler 把数据压到 [0,1]反归一化时却用了 StandardScaler 的参数或者直接用 train loss 里还原出来的值。我见过不止一次用scaler.inverse_transform(pred_norm)时传入了全特征矩阵结果把 PM2.5 的反归一化乘上了风速的尺度。解决把归一化和反归一化封装成两个函数单测验证「归一化 → 反归一化」之后是否等于原始值误差在 1e-6 级别才算通过。5.3 坑三随机种子不固定实验不可复现现象同一份代码跑两次RMSE 差 20% 甚至更多。原因PyTorch 默认权重初始化是随机的DataLoader 的线程调度也引入随机性。LSTM 的门控参数对初始值敏感两个随机种子可能收敛到完全不同的局部最优。解决训练脚本开头设置三处随机种子——torch.manual_seed(seed)、np.random.seed(seed)如果用了 CUDA 还要torch.cuda.manual_seed_all(seed)。更进一步把DataLoader的generator也固定下来这样即使后面调整 batch 顺序也不会影响结果。5.4 坑四seq_len 拍脑袋定模型学不到关键周期现象无论怎么调 hidden_size 和层数验证 loss 都下不去预测曲线比真实值平滑很多峰值总是被削平。原因seq_len 太短模型只看得到过去 6 小时或 12 小时看不到完整的日周期。PM2.5 的日内演化受边界层日变化控制夜里累积、午后扩散如果窗口只有 6 小时模型无法区分「当前处于上升段还是下降段」。解决从 seq_len24 起步做一个简单的网格实验分别试 12、24、48、72对比验证集 RMSE。通常 24 到 48 之间会有一个明显的拐点超过 72 增益很小但训练时间变长。5.5 坑五只用 RMSE 评价被重污染日带偏现象RMSE 数值不错但重污染日浓度大于 200的预测几乎全错业务方不买账。原因RMSE 对离群值取平方少数几个重污染样本占了 loss 的大部分模型的最优策略是「避开极端预测」也就是回归到均值附近。这在统计上损失最小但业务上恰恰最需要预测准的就是重污染过程。解决评估时同时看 RMSE、MAE 和分污染等级的命中率——比如中度污染以上时预测值与实测差值小于 50 的比例。训练时如果业务更关注重污染可以给高浓度样本加权重或者用加权 MSE 代替普通 MSE。6. 验证模型有没有真本事滚动预测、基线对比与落地边界6.1 从单步预测到滚动多步预测前面的代码只做了 horizon1 的预测即用过去 24 小时预测下一个小时。但业务上几乎总是要明天全天的浓度曲线这就必须做多步预测。常见有两种做法递归预测和直接预测。递归预测是把模型输出的下一步浓度当成输入再预测下下步反复滚动 24 次。它的优点是模型简单缺点是误差逐小时累积到第 12 小时以后预测基本趋于气候均值。直接预测是让模型一次输出 24 个值即把output_size改成 24缺点是单步预测误差被放大 24 倍训练也更难收敛。我的建议是报告中用直接预测展示模型能力上限工程部署用递归预测并每 3 小时用真实观测做一次校正。没有哪种方案是万能的但至少要让读者知道未来 24 小时预测和下一小时预测是两个难度完全不同的任务。6.2 用基线模型给 LSTM 定坐标很多论文里的 LSTM 效果惊艳但它打败的基线往往是用历史均值预测未来这种弱基线。实战里至少要跟两个基线对比一是持久性模型persistence即用当前浓度直接作为未来所有时刻的预测二是线性回归把过去 24 小时的浓度拉平成特征做线性外推。如果 LSTM 在这两个基线面前没有明显优势说明要么数据量不够要么特征设计有问题要么问题本身确实线性可解。我在一个城市站点数据上做过的典型结果是持久性模型 24 小时 RMSE 约 60LSTM 约 45优势大约 25%但如果只看前 6 小时持久性模型有时反而更好。这提醒我们LSTM 不是银弹它的收益主要体现在中长时段的非线性过程演化上。我个人的习惯是每次训练前把随机种子、seq_len、特征列表、验证集指标全部记录到一个实验日志里这样回头看哪次调参有效、哪次是运气一目了然。PM2.5 预测这个方向数据质量比模型结构更值得花时间把清洗和泄漏控制做到位模型哪怕用最简单的单层 LSTM 也能拿出有说服力的结果。希望这篇笔记能帮你少走几趟弯路。本文还有配套的精品资源点击获取
