简介这是一套用于交通流预测的时空变换网络源码与数据集面向需要完成毕业设计、期末大作业或课程设计的学生也适合对智能交通与时序建模感兴趣的入门开发者。资源包共八个文件其中六个为Python脚本两个为CSV数据文件压缩包整体约四百八十四KB。脚本分别覆盖模型搭建、图卷积网络实现、数据预处理、训练与验证等功能CSV数据为PEMSD7高速公路传感器采集的交通流量与速度记录可直接用于模型输入。目前该资源已有一百七十二人学习下载。借助该资源读者可以快速部署并复现交通流预测流程代码包含清晰注释便于理解时空注意力与图卷积的结合方式同时可替换数据集或调整网络参数用于个性化课题扩展整体结构紧凑、运行便捷是课程设计或毕业设计拿高分的不错选择。1. 交通流预测里的时空变换网络为什么这个方向值得你花时间跑通如果你接手过一个交通流预测的活儿大概率会撞上同一个问题路口的车流量数据明明是个时间序列但只用 LSTM 或 GRU 去建模高峰期预测总是慢半拍——要么车已经堵上了模型才报“畅通”要么平峰期突然给你报一个根本不存在的拥堵。这个现象不是模型调参能解决的本质是交通流同时受“时间演化”和“空间传播”两个因素控制相邻路口的车流会互相影响而单点的时间序列模型天然看不到这种空间关系。所谓时空变换网络核心就是把空间维度和时间维度同时丢进注意力机制里去处理。这套思路在交通流预测任务上已经被反复验证过效果普遍优于单纯的 LSTM、GRU 和早期 CNN 类方法。如果你手里拿到的是“Python 实现用于交通流预测的时空变换网络源码数据集”这类高分项目包那它帮你省掉的不只是代码量更是从数据清洗到模型调参这一整套踩坑过程。本文会从原理到复现逐一拆开讲适合两类人一是课程设计/毕业设计需要快速跑通一个有效模型的在校生二是想用时空建模替换传统时序模型的一线算法工程师。2. 时空变换网络在交通流上的建模逻辑为什么注意力机制能同时吃下时间和空间2.1 交通流预测的难点不在“预测”在于“空间传播”交通流预测本质上是一个带空间结构的时间序列预测问题。单纯从时间维度看每个路口的流量都跟自己的历史值强相关这是 LSTM 能解决的部分。但空间维度更麻烦一个路口的拥堵状态会在 5 到 15 分钟内传递给上下游路口而且传递方向和道路的物理拓扑有关、跟红绿灯配时有关、还跟高峰期潮汐方向有关。传统的做法是把每个路口单独建模或者用 CNN 把路网当成图片去卷积。前者丢失了路口间的相互影响后者把不规则路网强行规则化为网格引入了大量无效的位置关系。时空变换网络踩的是一条不同的路把整个路网的流量状态做成一个时空矩阵用多头注意力同时刻画“同一时刻不同路口之间”的空间关系和“同一路口不同时刻之间”的时间关系。这样说可能有点抽象我们落到矩阵上理解会更直观。假设你有 N 个路口每个路口记录了 T 个时间步的流量那整个路网的历史状态就是一个形状为 (N, T) 的矩阵。空间注意力在这个矩阵的行方向路口维度上做加权找出哪些路口之间的流量变化是联动的时间注意力在列方向时间维度上做加权找出当前时刻最应该参考哪几个历史时刻。两个维度的注意力输出拼接在一起再交给全连接层输出预测值。2.2 为什么在这里选 Transformer 而不是 LSTM 或 GCN很多人的第一反应是空间关系用图卷积GCN不是更合理吗路网本来就是图结构。这个说法没有错但 GCN 需要预先定义邻接矩阵而且 GCN 的传播深度通常只有两层做多步时序预测时时间维度的依赖还得靠额外的循环结构去消化。时空变换网络把时间依赖和空间依赖统一到注意力机制里省去了多模型拼接的麻烦。在训练效率上Transformer 结构也比循环网络更友好。LSTM 必须按时间步顺序展开计算批量训练时梯度回传路径长容易在长序列上出现梯度衰减而时空变换网络的注意力计算是并行的输入序列的长度不会影响单步计算效率。实际跑下来同样的训练轮数下时空变换网络的损失下降速度明显更快。不过这里有一个选型边界要认清时空变换网络适合数据量充足、路网规模在几十到几百个节点的场景。如果只有两三个路口的流量数据序列又特别短那它的优势发挥不出来传统 LSTM 反而更稳。这也是很多开源项目预览效果很好、自己复现却翻车的主要原因之一——数据集规模没达到模型的胃口。2.3 注意力机制中的“时间编码”在交通流里如何落地Transformer 自带的位置编码提供一个参考思路但套到交通流上要改造。交通流有极强的周期性早晚高峰以 24 小时为周期路口间的影响以信号周期60 到 180 秒为周期工作日和周末的流量分布完全不同。纯靠 Transformer 的正弦位置编码只能表达序列中的先后次序无法表达“今天 8 点的状态更像昨天 8 点而不是今天 9 点的状态”。常见的做法是把时间特征拆成多路外生变量拼进输入序列。比如把每个样本对应的时间戳拆解成“小时”、“星期几”、“是否节假日”三个特征分别做嵌入后拼在流量特征的末尾。这样做的好处是模型能直接学到周期性的先验而不需要自己去长序列里隐式发现。有效的时间编码是交通流时空变换网络和通用时间序列 Transformer 拉开差距的第一个细节。3. 从 zip 到能出预测结果源码结构、数据加载与最小启动流程3.1 拿到源码包之后先看这三个文件不急着跑 train.py高分项目包通常不会只有一个 train.py而是会分成数据、模型、工具和配置四块。按下述顺序读代码你可以在半小时内判断这个项目的质量而不是盲目跑通之后才发现数据切分有泄漏。第一个要看的是数据集加载文件一般叫 data_loader.py 或 dataset.py重点看数据切分逻辑是按时间顺序切还是随机切。交通流数据必须按时间顺序切分如果按随机切分训练集和测试集会包含同一时间段的数据模型的“高分”是假的部署后立刻露馅。第二个要看的文件是模型定义文件重点看输入张量的维度声明和注意力模块的维度对齐逻辑这一步是后期改参的基石。第三个是配置文件.yaml 或 .json看超参数是否集中管理。很多项目包的代码结构相似我习惯先快速扫一遍文件树确认存在以下文件清单再动手改文件/目录作用需要确认的点data/原始流量数据格式是 CSV 还是 npz时间粒度是多少dataset.py数据加载与切分训练/验证/测试是否按时间连续切分model.py模型结构定义输入通道数、注意力头数、序列长度train.py训练入口是否支持 GPU断点续训是否实现config.yaml超参数配置batch size、学习率、丢失率是否外置确认完仍不放心的话还有一个更快的办法在项目根目录下搜索所有包含 train_test_split 的代码如果是直接从 sklearn 调用且没有指定按时间排序那这个项目的数据切分一定有问题需要手动修正。3.2 数据集预处理把路网流量表转成模型输入的完整代码拿到手的数据通常是“一行一个时间戳、一列一个路口”的宽表格式直接喂给模型是不行的。需要先把宽表转成连续的时间步样本再按滑窗的方式组织成监督学习需要的 (输入序列, 预测目标) 结构。下面这组预处理代码是我实际处理类似数据时使用的流程关键步骤我都做了注释import numpy as np import pandas as pd def load_and_preprocess(csv_path, time_coltime, node_colsNone): 从宽表格式时间戳 x 路口构建时空输入张量。 node_cols 是路口列名列表顺序即模型看到的空间维度顺序。 df pd.read_csv(csv_path, parse_dates[time_col]) df df.sort_values(time_col).reset_index(dropTrue) # 只保留流量列转成 float32 节省显存 if node_cols is None: node_cols [c for c in df.columns if c ! time_col] data df[node_cols].values.astype(np.float32) # 处理缺失值: 用前后时刻的中位数填充不直接用均值 # 因为交通流在高峰期的均值会被拥堵状态拉高产生伪波动 for col in range(data.shape[1]): col_data data[:, col] mask np.isnan(col_data) if mask.any(): idx np.where(mask)[0] for i in idx: left col_data[max(0, i - 1)] right col_data[min(len(col_data) - 1, i 1)] # 取前后两个有效值的中位数避免单侧故障点污染 data[i, col] np.nanmedian([left, right]) return data, node_cols def make_samples(data, input_len12, pred_len3): 把连续流量序列切成滑窗样本。 input_len 是回看窗口长度pred_len 是预测未来多少步。 返回 (X, Y)X 形状 [样本数, 路口数, input_len]。 n_samples data.shape[0] - input_len - pred_len 1 X np.zeros((n_samples, data.shape[1], input_len), dtypenp.float32) Y np.zeros((n_samples, data.shape[1], pred_len), dtypenp.float32) for t in range(n_samples): # X 取 t 到 tinput_len 的窗口转置成 [路口, 时间步] X[t] data[t : t input_len].T # Y 取窗口之后 pred_len 步的均值作为预测目标 Y[t] data[t input_len : t input_len pred_len].T return X, Y这段逻辑里有一个容易忽略的细节X 的形状用的是 [路口数, 时间步] 而不是 [时间步, 路口数]。模型在计算空间注意力时需要沿着时间步维度对每个路口的特征做聚合把路口维度放在前面能避免后续代码里频繁的转置操作。数据切分的比例上我一般用 7:1.5:1.5并且确保验证集和测试集的时间范围严格在训练集之后。做归一化时只调用训练集的均值和方法原因下面会展开讲。3.3 模型核心代码时空多头注意力的最短实现在拿到预处理好的数据结构后模型的核心注意力模块可以精简成一个可以独立验证的类。数据形状统一为 (batch, num_nodes, input_len)下面的代码是标准 Transformer 编码器在时空维度上的一个轻量改造import torch import torch.nn as nn import math class TemporalSpatialAttention(nn.Module): 双维注意力层: 1. 空间注意力: 对路口维度做多头注意力捕捉路口间的联动 2. 时间注意力: 对时间步维度做多头注意力捕捉时序依赖 def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0 self.d_model d_model self.n_heads n_heads self.head_dim d_model // n_heads self.q_spatial nn.Linear(d_model, d_model) self.k_spatial nn.Linear(d_model, d_model) self.v_spatial nn.Linear(d_model, d_model) self.q_temporal nn.Linear(d_model, d_model) self.k_temporal nn.Linear(d_model, d_model) self.v_temporal nn.Linear(d_model, d_model) self.out_proj nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) self.scale math.sqrt(self.head_dim) def forward(self, x): # x 形状: (batch, num_nodes, input_len, d_model) # 空间注意力: 把 num_nodes 当成序列长度 batch, num_nodes, time_len, d_model x.shape # 空间维注意力 q self.q_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) k self.k_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) v self.v_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) attn_spatial torch.softmax(q k.transpose(-1, -2) / self.scale, dim-1) out_spatial (attn_spatial v).permute(0, 2, 3, 1, 4).reshape(batch, num_nodes, time_len, d_model) # 时间维注意力: 把 input_len 当成序列长度 q_t self.q_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) k_t self.k_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) v_t self.v_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) attn_temporal torch.softmax(q_t k_t.transpose(-1, -2) / self.scale, dim-1) out_temporal (attn_temporal v_t).permute(0, 2, 3, 1, 4).reshape(batch, num_nodes, time_len, d_model) # 两个维度的输出做加和再投影回原始维度 out self.out_proj(self.dropout(out_spatial out_temporal)) return out这段代码里注意力头数 n_heads 的设置直接影响模型表达力但不是越大越好。交通流数据的空间结构相对稀疏真正有强关联的路口通常不超过 10 个如果注意力头数设置到 8 或 16大部分头的注意力权重会趋近于均匀分布等于白算。常见做法是设置 4 个头多试一个 2 头做对照选验证集误差更小的那个。丢失率在交通流任务上也和 NLP 任务不同NLP 里 dropout 设 0.1 是常态交通流数据噪声相对大0.2 起步更稳过拟合严重时再上调到 0.3。4. 让模型在验证集上不翻车的训练参数batch size、学习率与评价指标4.1 学习率设置固定学习率必翻车预热余弦衰减是常规解交通流数据早高峰和晚高峰的数值波动极大固定学习率在训练前期容易震荡。比较稳的训练策略是“预热 余弦退火”的组合。前 5 个 epoch 学习率从 1e-4 线性升到 1e-3让模型先稳定收敛到一个大致合理的区域再用余弦退火降到 1e-5 做精细调整。这个方案在很多开源项目里都能见到但它不是唯一解关键在于前期别把学习率直接拉满。如果你的训练资源有限只能跑少量 epoch可以用一个更保守的替代方案固定使用 5e-4 的学习率batch size 同时调小。具体到代码里Optuna 之类的调参库并不一定必要因为参数空间其实只有两三个维度手动网格搜索几组关键参数比自动化调参更容易积累直觉。4.2 batch size 与序列长度显存不够时先砍哪个先给结论输入序列长度对模型效果的影响大于 batch size 对模型效果的影响。假设输入序列长度从 12 缩短到 6模型能看到的回看窗口不够覆盖一个完整的高峰爬坡过程预测误差会显著上升而 batch size 从 64 降到 32训练收敛速度变慢但最终误差相差不大。所以显存不够时的优先级是保持序列长度降低 batch size再考虑梯度累积。下面是一组我在 8GB 显存显卡上实测可用的训练参数参数名推荐值说明input_len12对应 1 小时回看5 分钟粒度pred_len3预测未来 15 分钟交通流常用预测步长batch_size328GB 显存下 128 节点网络不爆显存n_heads4空间关联稀疏多头数收益不明显d_model64嵌入维度增长到 128 在中小数据集上提升有限dropout0.2数据噪声大比 0.1 更抗过拟合learning_rate1e-3 预热到 5e-4配合余弦退火避免后期震荡batch size 调小后如果发现梯度更新噪声变大、损失曲线呈锯齿状明显加剧不要盲目加大学习率去对冲先检查数据是不是存在极端峰值。交通流数据在节假日的数值可能和平日相差数倍一个 batch 里如果恰好塞进多个节假日样本梯度方向会被少数样本主导。这种情况的解决方式不是调 batch size而是在数据预处理阶段对异常大的峰值做截断或分箱处理。4.3 评价指标和模型选择MAE 与 RMSE 的取舍背后是业务需求交通流预测常用的评价指标是 MAE 和 RMSE。MAE 衡量平均绝对误差对异常值不敏感RMSE 会对大误差给出更高惩罚。高峰期预测误差大是常态如果业务更关注平峰期的稳定性选 MAE 作为主指标更合理如果业务最不能接受的是“高峰误报为畅通”这种极端误差那要盯 RMSE。还有一个常被忽略的指标是“预测方向准确率”即模型预测的流量变化方向和实际方向是否一致。很多模型数值误差不大但变化方向判断错误——明明流量在上升模型预测略微下降这对红绿灯配时决策是致命的。但这个指标很少写进开源项目的损失函数里需要你自己在验证阶段单独计算。实操里我建议代码里同时输出 MAE、RMSE 和方向准确率三者而不是只盯一个损失值选模型。5. 时空变换网络训练与部署的 5 个高频踩坑点和排查思路5.1 数据泄漏归一化用了全量数据的均值测试集分数虚高现象训练集损失正常下降验证集和测试集指标好得离谱MAE 比同类论文低 30% 以上。原因归一化时直接在全量数据上调用 StandardScaler让测试集的信息提前参与了训练过程。测试集的数值分布被“告诉”了模型测试时的真实泛化能力被严重高估。解决在时间序列上先切分再单独在训练集上拟合归一化器然后用训练集的均值和方差去变换验证集和测试集。5.2 输入序列末位对齐错误预测值整体偏移一个时间步现象预测曲线和真实曲线形状几乎完全一致但整体滞后了一个时间步看起来像“把上一个时刻的观测值直接复制到了预测值”。原因构造滑窗样本时索引偏移量算错Y 标签取的是 X 窗口的最后一步而不是窗口之后的一步。模型实际学到了恒等映射。解决检查 make_samples 里的 range 终止条件确认 Y 的起始索引是 t input_len 而不是 t input_len - 1。在验证集上算一次延迟为 1 的自相关如果接近 1基本可以断定对齐出错。5.3 空间注意力退化成均匀分布多头注意力没学到路口关联现象把注意力权重可视化后发现每个时间步的注意力权重都近似 1/N模型表现跟不带空间注意力的纯时间序列模型相差无几。原因d_model 太小或者输入特征只有流量一维信息Q、K 向量的区分度不足所有路口的特征向量高度相似注意力权重拉不开差距。解决扩充输入特征维度加入速度、占有率等额外交通参数同时把 d_model 从 64 提到 128 再做对照实验。如果提升有限检查空间注意力的 Q、K 投影层是否经过 LayerNorm归一化缺失时注意力权重的方差也会被压缩。5.4 显存溢出但 batch size 已经很小问题出在中间张量形状现象训练到第二个 epoch 突然 OOM调小 batch size 到 8 仍然溢出。原因注意力计算时Q 和 K 的转置乘法产生的中间张量形状包含了 num_nodes、input_len、batch 三个维度的乘积。当 num_nodes200、input_len48、batch8 时单个注意力头的注意力矩阵就是 20048200*48直接爆显存。解决不要让一个注意力层同时处理全量时空矩阵先对 input_len 做分段或降采样或者采用窗口注意力只对每个路口前后相邻的 K 个时间步计算注意力把复杂度从 O(N^2 T^2) 降到 O(N T K^2)。5.5 训练损失下降但验证损失上升交通流数据的周期性先验没有传给模型现象loss 曲线前 10 个 epoch 正常下降随后训练集继续下降而验证集反弹典型的过拟合信号。但 dropout 已经调到 0.3early stopping 也开了问题依旧。原因模型没有感知到“星期几”和“是否节假日”验证集和训练集如果落在不同星期几的组合里模型的周期性外推能力不够。解决把上一节提到的时间外生变量做嵌入拼进输入并在特征层面固定随机种子后重训。外生变量嵌入维度一般取 8 到 16 就足够不要过大否则会稀释流量特征的主导地位。6. 进阶用法用滑窗验证法评估“极限预测步长”提前判断模型上限这一章的技巧在项目验收和论文实验里都很实用。很多时候你并不知道当前模型在给定的数据集上最多能往前预测几步而反复训练不同步长的模型成本较高。常见做法是先用滑窗验证法做一次预判保持模型结构不变只修改 pred_len做一组 1 步、3 步、6 步、12 步预测的对比实验。观察 MAE 随预测步长的增长率如果在某一步之后误差突然急剧上升说明该模型的时空依赖捕获能力已经到极限再往后继续增大步长没有实际意义。我习惯把这个实验放在正式的 baseline 对比之前完成理由是它只需要重新构造数据样本和标签不需要改动模型代码。实际项目里经常能发现模型在 3 步预测上表现优秀但到 6 步时误差翻倍这时候正确的做法是调整输入序列长度看能否缓解而不是急着换更重的模型结构。执行时记得给每一步长的对比实验固定同一个随机种子并保持其他超参数完全一致。误差的上涨曲线如果是平滑的说明模型在逐步利用衰减的时间相关性如果是跃变的说明模型完全丢失了某个关键周期信号回溯检查时间编码是否把周期特征覆盖掉。这个技巧也顺手帮你完成了模型选型的论证比单纯贴两个模型的总分对比更有说服力。交通流预测的门槛不在模型结构本身而在数据构建到指标评估的这一条完整链路上。我最早做这个方向时踩得最深的一次就是被源码包里漂亮的验证集 MAE 骗了后来才发现是切分顺序错乱造成的假象。把数据切分和归一化的基础打牢再回到模型上去迭代路径会顺很多。希望这篇笔记能帮你少走一段弯路。本文还有配套的精品资源点击获取
交通流预测中的时空变换网络：原理、复现与调参实战
简介这是一套用于交通流预测的时空变换网络源码与数据集面向需要完成毕业设计、期末大作业或课程设计的学生也适合对智能交通与时序建模感兴趣的入门开发者。资源包共八个文件其中六个为Python脚本两个为CSV数据文件压缩包整体约四百八十四KB。脚本分别覆盖模型搭建、图卷积网络实现、数据预处理、训练与验证等功能CSV数据为PEMSD7高速公路传感器采集的交通流量与速度记录可直接用于模型输入。目前该资源已有一百七十二人学习下载。借助该资源读者可以快速部署并复现交通流预测流程代码包含清晰注释便于理解时空注意力与图卷积的结合方式同时可替换数据集或调整网络参数用于个性化课题扩展整体结构紧凑、运行便捷是课程设计或毕业设计拿高分的不错选择。1. 交通流预测里的时空变换网络为什么这个方向值得你花时间跑通如果你接手过一个交通流预测的活儿大概率会撞上同一个问题路口的车流量数据明明是个时间序列但只用 LSTM 或 GRU 去建模高峰期预测总是慢半拍——要么车已经堵上了模型才报“畅通”要么平峰期突然给你报一个根本不存在的拥堵。这个现象不是模型调参能解决的本质是交通流同时受“时间演化”和“空间传播”两个因素控制相邻路口的车流会互相影响而单点的时间序列模型天然看不到这种空间关系。所谓时空变换网络核心就是把空间维度和时间维度同时丢进注意力机制里去处理。这套思路在交通流预测任务上已经被反复验证过效果普遍优于单纯的 LSTM、GRU 和早期 CNN 类方法。如果你手里拿到的是“Python 实现用于交通流预测的时空变换网络源码数据集”这类高分项目包那它帮你省掉的不只是代码量更是从数据清洗到模型调参这一整套踩坑过程。本文会从原理到复现逐一拆开讲适合两类人一是课程设计/毕业设计需要快速跑通一个有效模型的在校生二是想用时空建模替换传统时序模型的一线算法工程师。2. 时空变换网络在交通流上的建模逻辑为什么注意力机制能同时吃下时间和空间2.1 交通流预测的难点不在“预测”在于“空间传播”交通流预测本质上是一个带空间结构的时间序列预测问题。单纯从时间维度看每个路口的流量都跟自己的历史值强相关这是 LSTM 能解决的部分。但空间维度更麻烦一个路口的拥堵状态会在 5 到 15 分钟内传递给上下游路口而且传递方向和道路的物理拓扑有关、跟红绿灯配时有关、还跟高峰期潮汐方向有关。传统的做法是把每个路口单独建模或者用 CNN 把路网当成图片去卷积。前者丢失了路口间的相互影响后者把不规则路网强行规则化为网格引入了大量无效的位置关系。时空变换网络踩的是一条不同的路把整个路网的流量状态做成一个时空矩阵用多头注意力同时刻画“同一时刻不同路口之间”的空间关系和“同一路口不同时刻之间”的时间关系。这样说可能有点抽象我们落到矩阵上理解会更直观。假设你有 N 个路口每个路口记录了 T 个时间步的流量那整个路网的历史状态就是一个形状为 (N, T) 的矩阵。空间注意力在这个矩阵的行方向路口维度上做加权找出哪些路口之间的流量变化是联动的时间注意力在列方向时间维度上做加权找出当前时刻最应该参考哪几个历史时刻。两个维度的注意力输出拼接在一起再交给全连接层输出预测值。2.2 为什么在这里选 Transformer 而不是 LSTM 或 GCN很多人的第一反应是空间关系用图卷积GCN不是更合理吗路网本来就是图结构。这个说法没有错但 GCN 需要预先定义邻接矩阵而且 GCN 的传播深度通常只有两层做多步时序预测时时间维度的依赖还得靠额外的循环结构去消化。时空变换网络把时间依赖和空间依赖统一到注意力机制里省去了多模型拼接的麻烦。在训练效率上Transformer 结构也比循环网络更友好。LSTM 必须按时间步顺序展开计算批量训练时梯度回传路径长容易在长序列上出现梯度衰减而时空变换网络的注意力计算是并行的输入序列的长度不会影响单步计算效率。实际跑下来同样的训练轮数下时空变换网络的损失下降速度明显更快。不过这里有一个选型边界要认清时空变换网络适合数据量充足、路网规模在几十到几百个节点的场景。如果只有两三个路口的流量数据序列又特别短那它的优势发挥不出来传统 LSTM 反而更稳。这也是很多开源项目预览效果很好、自己复现却翻车的主要原因之一——数据集规模没达到模型的胃口。2.3 注意力机制中的“时间编码”在交通流里如何落地Transformer 自带的位置编码提供一个参考思路但套到交通流上要改造。交通流有极强的周期性早晚高峰以 24 小时为周期路口间的影响以信号周期60 到 180 秒为周期工作日和周末的流量分布完全不同。纯靠 Transformer 的正弦位置编码只能表达序列中的先后次序无法表达“今天 8 点的状态更像昨天 8 点而不是今天 9 点的状态”。常见的做法是把时间特征拆成多路外生变量拼进输入序列。比如把每个样本对应的时间戳拆解成“小时”、“星期几”、“是否节假日”三个特征分别做嵌入后拼在流量特征的末尾。这样做的好处是模型能直接学到周期性的先验而不需要自己去长序列里隐式发现。有效的时间编码是交通流时空变换网络和通用时间序列 Transformer 拉开差距的第一个细节。3. 从 zip 到能出预测结果源码结构、数据加载与最小启动流程3.1 拿到源码包之后先看这三个文件不急着跑 train.py高分项目包通常不会只有一个 train.py而是会分成数据、模型、工具和配置四块。按下述顺序读代码你可以在半小时内判断这个项目的质量而不是盲目跑通之后才发现数据切分有泄漏。第一个要看的是数据集加载文件一般叫 data_loader.py 或 dataset.py重点看数据切分逻辑是按时间顺序切还是随机切。交通流数据必须按时间顺序切分如果按随机切分训练集和测试集会包含同一时间段的数据模型的“高分”是假的部署后立刻露馅。第二个要看的文件是模型定义文件重点看输入张量的维度声明和注意力模块的维度对齐逻辑这一步是后期改参的基石。第三个是配置文件.yaml 或 .json看超参数是否集中管理。很多项目包的代码结构相似我习惯先快速扫一遍文件树确认存在以下文件清单再动手改文件/目录作用需要确认的点data/原始流量数据格式是 CSV 还是 npz时间粒度是多少dataset.py数据加载与切分训练/验证/测试是否按时间连续切分model.py模型结构定义输入通道数、注意力头数、序列长度train.py训练入口是否支持 GPU断点续训是否实现config.yaml超参数配置batch size、学习率、丢失率是否外置确认完仍不放心的话还有一个更快的办法在项目根目录下搜索所有包含 train_test_split 的代码如果是直接从 sklearn 调用且没有指定按时间排序那这个项目的数据切分一定有问题需要手动修正。3.2 数据集预处理把路网流量表转成模型输入的完整代码拿到手的数据通常是“一行一个时间戳、一列一个路口”的宽表格式直接喂给模型是不行的。需要先把宽表转成连续的时间步样本再按滑窗的方式组织成监督学习需要的 (输入序列, 预测目标) 结构。下面这组预处理代码是我实际处理类似数据时使用的流程关键步骤我都做了注释import numpy as np import pandas as pd def load_and_preprocess(csv_path, time_coltime, node_colsNone): 从宽表格式时间戳 x 路口构建时空输入张量。 node_cols 是路口列名列表顺序即模型看到的空间维度顺序。 df pd.read_csv(csv_path, parse_dates[time_col]) df df.sort_values(time_col).reset_index(dropTrue) # 只保留流量列转成 float32 节省显存 if node_cols is None: node_cols [c for c in df.columns if c ! time_col] data df[node_cols].values.astype(np.float32) # 处理缺失值: 用前后时刻的中位数填充不直接用均值 # 因为交通流在高峰期的均值会被拥堵状态拉高产生伪波动 for col in range(data.shape[1]): col_data data[:, col] mask np.isnan(col_data) if mask.any(): idx np.where(mask)[0] for i in idx: left col_data[max(0, i - 1)] right col_data[min(len(col_data) - 1, i 1)] # 取前后两个有效值的中位数避免单侧故障点污染 data[i, col] np.nanmedian([left, right]) return data, node_cols def make_samples(data, input_len12, pred_len3): 把连续流量序列切成滑窗样本。 input_len 是回看窗口长度pred_len 是预测未来多少步。 返回 (X, Y)X 形状 [样本数, 路口数, input_len]。 n_samples data.shape[0] - input_len - pred_len 1 X np.zeros((n_samples, data.shape[1], input_len), dtypenp.float32) Y np.zeros((n_samples, data.shape[1], pred_len), dtypenp.float32) for t in range(n_samples): # X 取 t 到 tinput_len 的窗口转置成 [路口, 时间步] X[t] data[t : t input_len].T # Y 取窗口之后 pred_len 步的均值作为预测目标 Y[t] data[t input_len : t input_len pred_len].T return X, Y这段逻辑里有一个容易忽略的细节X 的形状用的是 [路口数, 时间步] 而不是 [时间步, 路口数]。模型在计算空间注意力时需要沿着时间步维度对每个路口的特征做聚合把路口维度放在前面能避免后续代码里频繁的转置操作。数据切分的比例上我一般用 7:1.5:1.5并且确保验证集和测试集的时间范围严格在训练集之后。做归一化时只调用训练集的均值和方法原因下面会展开讲。3.3 模型核心代码时空多头注意力的最短实现在拿到预处理好的数据结构后模型的核心注意力模块可以精简成一个可以独立验证的类。数据形状统一为 (batch, num_nodes, input_len)下面的代码是标准 Transformer 编码器在时空维度上的一个轻量改造import torch import torch.nn as nn import math class TemporalSpatialAttention(nn.Module): 双维注意力层: 1. 空间注意力: 对路口维度做多头注意力捕捉路口间的联动 2. 时间注意力: 对时间步维度做多头注意力捕捉时序依赖 def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0 self.d_model d_model self.n_heads n_heads self.head_dim d_model // n_heads self.q_spatial nn.Linear(d_model, d_model) self.k_spatial nn.Linear(d_model, d_model) self.v_spatial nn.Linear(d_model, d_model) self.q_temporal nn.Linear(d_model, d_model) self.k_temporal nn.Linear(d_model, d_model) self.v_temporal nn.Linear(d_model, d_model) self.out_proj nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) self.scale math.sqrt(self.head_dim) def forward(self, x): # x 形状: (batch, num_nodes, input_len, d_model) # 空间注意力: 把 num_nodes 当成序列长度 batch, num_nodes, time_len, d_model x.shape # 空间维注意力 q self.q_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) k self.k_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) v self.v_spatial(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 3, 2, 1, 4) attn_spatial torch.softmax(q k.transpose(-1, -2) / self.scale, dim-1) out_spatial (attn_spatial v).permute(0, 2, 3, 1, 4).reshape(batch, num_nodes, time_len, d_model) # 时间维注意力: 把 input_len 当成序列长度 q_t self.q_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) k_t self.k_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) v_t self.v_temporal(x).view(batch, num_nodes, time_len, self.n_heads, self.head_dim).permute(0, 2, 3, 1, 4) attn_temporal torch.softmax(q_t k_t.transpose(-1, -2) / self.scale, dim-1) out_temporal (attn_temporal v_t).permute(0, 2, 3, 1, 4).reshape(batch, num_nodes, time_len, d_model) # 两个维度的输出做加和再投影回原始维度 out self.out_proj(self.dropout(out_spatial out_temporal)) return out这段代码里注意力头数 n_heads 的设置直接影响模型表达力但不是越大越好。交通流数据的空间结构相对稀疏真正有强关联的路口通常不超过 10 个如果注意力头数设置到 8 或 16大部分头的注意力权重会趋近于均匀分布等于白算。常见做法是设置 4 个头多试一个 2 头做对照选验证集误差更小的那个。丢失率在交通流任务上也和 NLP 任务不同NLP 里 dropout 设 0.1 是常态交通流数据噪声相对大0.2 起步更稳过拟合严重时再上调到 0.3。4. 让模型在验证集上不翻车的训练参数batch size、学习率与评价指标4.1 学习率设置固定学习率必翻车预热余弦衰减是常规解交通流数据早高峰和晚高峰的数值波动极大固定学习率在训练前期容易震荡。比较稳的训练策略是“预热 余弦退火”的组合。前 5 个 epoch 学习率从 1e-4 线性升到 1e-3让模型先稳定收敛到一个大致合理的区域再用余弦退火降到 1e-5 做精细调整。这个方案在很多开源项目里都能见到但它不是唯一解关键在于前期别把学习率直接拉满。如果你的训练资源有限只能跑少量 epoch可以用一个更保守的替代方案固定使用 5e-4 的学习率batch size 同时调小。具体到代码里Optuna 之类的调参库并不一定必要因为参数空间其实只有两三个维度手动网格搜索几组关键参数比自动化调参更容易积累直觉。4.2 batch size 与序列长度显存不够时先砍哪个先给结论输入序列长度对模型效果的影响大于 batch size 对模型效果的影响。假设输入序列长度从 12 缩短到 6模型能看到的回看窗口不够覆盖一个完整的高峰爬坡过程预测误差会显著上升而 batch size 从 64 降到 32训练收敛速度变慢但最终误差相差不大。所以显存不够时的优先级是保持序列长度降低 batch size再考虑梯度累积。下面是一组我在 8GB 显存显卡上实测可用的训练参数参数名推荐值说明input_len12对应 1 小时回看5 分钟粒度pred_len3预测未来 15 分钟交通流常用预测步长batch_size328GB 显存下 128 节点网络不爆显存n_heads4空间关联稀疏多头数收益不明显d_model64嵌入维度增长到 128 在中小数据集上提升有限dropout0.2数据噪声大比 0.1 更抗过拟合learning_rate1e-3 预热到 5e-4配合余弦退火避免后期震荡batch size 调小后如果发现梯度更新噪声变大、损失曲线呈锯齿状明显加剧不要盲目加大学习率去对冲先检查数据是不是存在极端峰值。交通流数据在节假日的数值可能和平日相差数倍一个 batch 里如果恰好塞进多个节假日样本梯度方向会被少数样本主导。这种情况的解决方式不是调 batch size而是在数据预处理阶段对异常大的峰值做截断或分箱处理。4.3 评价指标和模型选择MAE 与 RMSE 的取舍背后是业务需求交通流预测常用的评价指标是 MAE 和 RMSE。MAE 衡量平均绝对误差对异常值不敏感RMSE 会对大误差给出更高惩罚。高峰期预测误差大是常态如果业务更关注平峰期的稳定性选 MAE 作为主指标更合理如果业务最不能接受的是“高峰误报为畅通”这种极端误差那要盯 RMSE。还有一个常被忽略的指标是“预测方向准确率”即模型预测的流量变化方向和实际方向是否一致。很多模型数值误差不大但变化方向判断错误——明明流量在上升模型预测略微下降这对红绿灯配时决策是致命的。但这个指标很少写进开源项目的损失函数里需要你自己在验证阶段单独计算。实操里我建议代码里同时输出 MAE、RMSE 和方向准确率三者而不是只盯一个损失值选模型。5. 时空变换网络训练与部署的 5 个高频踩坑点和排查思路5.1 数据泄漏归一化用了全量数据的均值测试集分数虚高现象训练集损失正常下降验证集和测试集指标好得离谱MAE 比同类论文低 30% 以上。原因归一化时直接在全量数据上调用 StandardScaler让测试集的信息提前参与了训练过程。测试集的数值分布被“告诉”了模型测试时的真实泛化能力被严重高估。解决在时间序列上先切分再单独在训练集上拟合归一化器然后用训练集的均值和方差去变换验证集和测试集。5.2 输入序列末位对齐错误预测值整体偏移一个时间步现象预测曲线和真实曲线形状几乎完全一致但整体滞后了一个时间步看起来像“把上一个时刻的观测值直接复制到了预测值”。原因构造滑窗样本时索引偏移量算错Y 标签取的是 X 窗口的最后一步而不是窗口之后的一步。模型实际学到了恒等映射。解决检查 make_samples 里的 range 终止条件确认 Y 的起始索引是 t input_len 而不是 t input_len - 1。在验证集上算一次延迟为 1 的自相关如果接近 1基本可以断定对齐出错。5.3 空间注意力退化成均匀分布多头注意力没学到路口关联现象把注意力权重可视化后发现每个时间步的注意力权重都近似 1/N模型表现跟不带空间注意力的纯时间序列模型相差无几。原因d_model 太小或者输入特征只有流量一维信息Q、K 向量的区分度不足所有路口的特征向量高度相似注意力权重拉不开差距。解决扩充输入特征维度加入速度、占有率等额外交通参数同时把 d_model 从 64 提到 128 再做对照实验。如果提升有限检查空间注意力的 Q、K 投影层是否经过 LayerNorm归一化缺失时注意力权重的方差也会被压缩。5.4 显存溢出但 batch size 已经很小问题出在中间张量形状现象训练到第二个 epoch 突然 OOM调小 batch size 到 8 仍然溢出。原因注意力计算时Q 和 K 的转置乘法产生的中间张量形状包含了 num_nodes、input_len、batch 三个维度的乘积。当 num_nodes200、input_len48、batch8 时单个注意力头的注意力矩阵就是 20048200*48直接爆显存。解决不要让一个注意力层同时处理全量时空矩阵先对 input_len 做分段或降采样或者采用窗口注意力只对每个路口前后相邻的 K 个时间步计算注意力把复杂度从 O(N^2 T^2) 降到 O(N T K^2)。5.5 训练损失下降但验证损失上升交通流数据的周期性先验没有传给模型现象loss 曲线前 10 个 epoch 正常下降随后训练集继续下降而验证集反弹典型的过拟合信号。但 dropout 已经调到 0.3early stopping 也开了问题依旧。原因模型没有感知到“星期几”和“是否节假日”验证集和训练集如果落在不同星期几的组合里模型的周期性外推能力不够。解决把上一节提到的时间外生变量做嵌入拼进输入并在特征层面固定随机种子后重训。外生变量嵌入维度一般取 8 到 16 就足够不要过大否则会稀释流量特征的主导地位。6. 进阶用法用滑窗验证法评估“极限预测步长”提前判断模型上限这一章的技巧在项目验收和论文实验里都很实用。很多时候你并不知道当前模型在给定的数据集上最多能往前预测几步而反复训练不同步长的模型成本较高。常见做法是先用滑窗验证法做一次预判保持模型结构不变只修改 pred_len做一组 1 步、3 步、6 步、12 步预测的对比实验。观察 MAE 随预测步长的增长率如果在某一步之后误差突然急剧上升说明该模型的时空依赖捕获能力已经到极限再往后继续增大步长没有实际意义。我习惯把这个实验放在正式的 baseline 对比之前完成理由是它只需要重新构造数据样本和标签不需要改动模型代码。实际项目里经常能发现模型在 3 步预测上表现优秀但到 6 步时误差翻倍这时候正确的做法是调整输入序列长度看能否缓解而不是急着换更重的模型结构。执行时记得给每一步长的对比实验固定同一个随机种子并保持其他超参数完全一致。误差的上涨曲线如果是平滑的说明模型在逐步利用衰减的时间相关性如果是跃变的说明模型完全丢失了某个关键周期信号回溯检查时间编码是否把周期特征覆盖掉。这个技巧也顺手帮你完成了模型选型的论证比单纯贴两个模型的总分对比更有说服力。交通流预测的门槛不在模型结构本身而在数据构建到指标评估的这一条完整链路上。我最早做这个方向时踩得最深的一次就是被源码包里漂亮的验证集 MAE 骗了后来才发现是切分顺序错乱造成的假象。把数据切分和归一化的基础打牢再回到模型上去迭代路径会顺很多。希望这篇笔记能帮你少走一段弯路。本文还有配套的精品资源点击获取
