最近在折腾时间序列自监督预训练把 ST-MTM 这个思路从论文落到了代码里。折腾完最大的感受是masked autoencoder 这套玩法在图像上确实香但搬到时间序列上如果直接照搬十有八九会翻车。ST-MTM 的聪明之处在于它先用季节-趋势分解把序列拆开再分别做掩码重建把“解耦”这件事做在了预训练之前。这篇文章就来讲讲这个方案的设计动机、实现细节、踩坑经历和调参心得给同样在做时间序列预训练或者表征学习的同学一个参考。适合读的人有三类一是想搞清楚为什么纯掩码重建在时序上效果不稳定的研究者二是打算把自监督预训练落到自己数据集上的算法工程师三是纯粹想了解季节-趋势分解和掩码时间序列建模如何结合的学习者。1. 为什么纯掩码重建在时间序列上容易翻车1.1 时间序列和图像在结构上的本质差异图像上的 MAE 能成功本质上依赖一个底层假设像素之间的空间相关性是局部的、各向同性的。你遮掉一块区域周围像素能提供足够强的线索让模型通过纹理、颜色、边缘结构重建出被遮掉的内容。换句话说图像信息有天然的“空间冗余”而且这个冗余分布得比较均匀。但时间序列不一样。时间序列有三个在图像里不太存在的特性一是时间依赖是单向的过去影响未来反过来不成立二是数据里往往混合着多个尺度的成分——秒级的突发波动、小时级的周期模式、天级别的趋势漂移这些成分叠在一起统计特性完全不同三是信号的“信息密度”分布极度不均匀。有的位置波动剧烈、细节丰富有的位置长时间缓慢变化、几乎没什么有效信息。直接把图像 MAE 的掩码策略搬到时间序列上问题就出现了。由于时间序列相邻点之间天然存在平滑性你随机遮掉某些时间步后模型不需要理解什么高阶语义只需要在隐藏表示上做一个线性插值就能把 loss 压得很低。模型学到的表征里真正的周期性、事件性、突变性信息占比很低。最后预训练结束你拿去跑下游任务效果比端到端监督训练还差这太常见了。1.2 趋势与季节纠缠产生“惰性解”再往深一层看制约掩码时序建模更核心的问题是趋势trend和季节seasonal成分纠缠在一起。一条真实的时间序列比如某商场的客流数据既有明显的周内周期工作日和周末差异又有缓慢的年度增长趋势。如果让模型直接对原始序列做重建它面对的其实是一个“混合信号”的重建任务。这里存在严重的捷径问题。模型很可能发现只要我重建出一个以局部均值/中位数为主体的平滑曲线趋势部分基本就蒙对了剩下的季节细节稍微糙一点也无所谓。因为从损失函数的角度重建误差主要被趋势的大幅值主导了季节成分的细节误差只占总误差很小一部分。于是模型就能停在某个相对低的 loss 上但这个向量的内部表征能力非常弱——因为它根本不需要精细地建模季节分量就糊弄过去了。我管这叫“惰性解”。除非你的下游任务恰好也是预测这个平滑趋势否则这种预训练表征基本帮不上什么忙。ST-MTM 的核心主张就是把掩码建模目标从“重建原始序列”改成“同时重建季节分量和趋势残差分量”用分解结构倒逼模型分别学习两类不同的时序模式。2. ST-MTM 的结构拆解先解耦再重建2.1 总体框架解读ST-MTM 的整体流程可以用一句话概括输入序列先经过一个可微分的季节-趋势分解模块拆成季节分量和趋势残差分量两个分量分别走各自的掩码与重建分支最后把重建结果相加还原出原始序列。这里要特别说明一下“趋势残差分量”是什么意思。很多做时间序列的人一听到“季节-趋势分解”下意识想到 STL 那种经典的三分量分解趋势项、季节项、残差项。但 ST-MTM 这里做的是近似二分量处理用平滑滤波把缓慢变化的趋势/基线成分估计出来原始序列减去这个趋势估计剩下的部分统称为“去趋势残差”。这个残差里既包含周期性季节成分也包含不规则的突发事件和高频噪声。所谓季节-趋势分解实际是在“长周期低频趋势”和“短周期高频细节”之间划一条清晰的边界。为什么这样处理更合适因为如果硬拆成三个分量残差项会包含大量不可预测噪声你让模型去重建纯噪声没有太大意义只会注入无用的学习信号。而把趋势和一个“包含季节性的残差”分开残差分量里既有结构化的周期信息又有非结构化的细粒度事件信息重建这个分量比重建纯噪声有价值得多。2.2 可微分分解模块的落地实现分解模块必须是可以端到端训练的不能像 STL 那样用离线算法做完再喂给模型。离线分解的问题在于它产生的分量表示是固定的后面任何下游任务都要依赖这个固定表示如果分解质量和任务需求不匹配误差就固化传递下去了。实际落地时最简单的可微分趋势估计就是滑动平均。用一维平均池化或者深度可分离卷积核大小设为kernel_size步长 1padding 保持长度不变输出就是趋势估计x_trend AvgPool1d(x)。然后残差分量就是x_residual x - x_trend。这里kernel_size的选取非常关键它决定你划在哪个频率上核越宽趋势越平滑残差里保留的季节周期信息越多核越窄趋势越接近原始序列残差越接近白噪声。我在实测里发现单纯用固定核宽的滑动平均其实不够稳因为不同样本的周期长度可能有差异。更好的做法是在滑动平均之后再用快速傅里叶变换或者自相关函数估计主周期长度然后对残差分量做一次周期折叠对齐提取出更干净的季节分量。这一步不是 ST-MTM 的必要路径但加上了之后季节分支重建的稳定性会明显提升。2.3 差异化掩码策略的设计这是 ST-MTM 里我认为最有价值的地方两个分量不应该用同一种掩码策略。对于季节分量由于它包含明显的周期结构我建议用块掩码block masking也就是一次遮住连续的一大段时间区间而不是零零散散地随机丢点。为什么因为随机丢点重建太简单了——周期信号自带强先验周围留下两三个点就足以通过插值恢复出整段波形模型还是学不到东西。块掩码让模型真正面对一段完全不可见的区间只能依靠周期相位和长程依赖来重建能迫使它学到周期模式的位置编码和相位关系。对于趋势残差分量情况相反。残差里既有高频事件又有不规则波动如果也做块掩码模型缺乏上下文线索重建纯粹成了瞎猜。更合理的方案是随机掩码point masking以某个比例随机遮住部分时间步让模型利用局部上下文推断缺失点学到的表征更偏向局部细节和异常突变。两条分支掩码比例可以各自独立设置最后把它们在时间维上对齐后分别送入编码器共享或部分共享权重解码重建时再叠加输出。你甚至可以在这个框架基础上为两条分支引入不同的 patch 大小季节分支用大 patch有利于建模长周期残差分支用小 patch保留局部精度。3. 训练细节与关键参数实测3.1 损失函数怎么配ST-MTM 的损失设计看似简单实际有讲究。一种自然想法是只对重建后的总序列算 loss季节性分支和残差分支内部不单独监督这其实会削弱分解的意义。因为取消单独监督后模型有机会反着来——两个分支内部怎么分工它无所谓只要叠加结果对得上就行分解结构就退化成一种“隐变量拆分”达不到强迫解耦的目的。我建议这样设置总损失等于季节分支重建损失、残差分支重建损失和一个可选的周期对齐损失之和。季节分量用平滑 L1 损失或者 L1 损失因为季节成分本身是结构化的用 L1 可以避免 L2 对周期性突变的过度惩罚残差分量用 MSE 损失因为残差里有突发事件MSE 对这类离群点更敏感能逼着模型关注尖锐变化。实际测试下来一个比较稳的配比是loss 0.4 * L1_season 0.6 * MSE_residual周期对齐损失的权重可以设在 0.1 附近作为辅助。这里核心原因是残差分支的任务更难、信息更杂给它更高权重能让模型把更多容量用在硬骨头——低层次的局部模式和高层次事件模式的学习上。3.2 掩码比例的经验值掩码比例是时间序列掩码建模里最重要的超参之一。图像上 MAE 默认 75% 掩码但时间序列上这个值要大幅下调。时间序列信息密度不像图像那样均匀冗余掩码占比过高时模型从可见部分能获取的上下文太少重建任务会退化成一个纯生成任务它学到的表征往往偏向“泛化的先验分布”而不是“可迁移的局部表征”。我跑了几组消融实验对 ETTh1、Electricity 这类带有明显周期和趋势的公共数据集掩码比例在 0.4 到 0.5 之间表现最好。再往上抬到 0.6 以上下游线性探测和微调的效果都开始明显回落。如果你数据集的采样频率很高、冗余度大比如秒级传感器数据掩码比例可以适当放宽到 0.6 到 0.7如果数据本身已经很稀疏比如天粒度业务指标建议保守一点0.3 左右起步。前面说的两个分支仍然可以差异化季节分支的掩码比例可以比残差分支低一些因为块掩码本身已经制造了比较大的重建难度掩码总量太大反而会让周期相位信息丢失导致季节分支重建出来的信号与真实值之间出现整周期错位。3.3 不能不提的归一化处理时间序列的数值分布和多变量通道量纲问题在自监督预训练里比在监督训练里更容易搞炸。预训练阶段如果不对输入做归一化模型会把大量容量浪费在学习不同通道的绝对尺度上而不是相对时序模式上。当预训练数据来自多个数据集或多种传感器类型时这个问题尤其突出。我的做法是参照 RevIN 的思路在进入分解模块前对每个输入窗口做实例归一化先减均值、除以标准差让模型学的是相对波动模式完成重建后再做逆变换回来。注意这里不是简单的 BatchNorm 那种跨样本归一化而是逐实例的。实测下来加了这一步之后季节分支和残差分支在验证集上的重建误差大约能降低 10% 到 15%下游任务效果也有正面提升。如果你嫌麻烦至少在分解模块内部对两个分支分别做归一化不要在原始尺度上直接训练。4. 常见问题与排查技巧实录4.1 分解结果可视化异常很多同学第一次跑通 ST-MTM 之后都会习惯性把分解结果打印出来看这时最常遇到的问题就是趋势分量几乎等于原始序列残差分量看起来平平无奇像是噪声完全没体现出“季节”成分。这个问题九成是滑动平均核宽设置太窄导致的。核宽如果小于数据主周期的长度趋势估计会跟着周期波动残差里就没什么周期性结构留下来。反过来核宽如果设置得太大趋势会过于平坦残差里包含大量低频趋势信息加重了残差分支的学习负担。我的调试经验是先用自相关函数估计出数据主周期 T然后核宽至少取 1.5 到 2 倍 T 作为起点再对比不同核宽下的残差可视化结果。如果残差里还能看到明显的斜线或者平滑漂移说明核宽不够如果残差变成了纯高频毛刺核宽可能有点大需要往回调一点。4.2 训练 loss 下降很快但下游效果差另一个高频问题是预训练时 reconstruction loss 下降得很漂亮25 轮左右就能收敛到很低水平但拿到下游分类任务上做线性探测精度却比从零训练还差。这种情况基本可以判断模型又走了“惰性解”。排查路径我从上到下依次检查先看一眼掩码比例是不是太高了把任务变成了纯生成再看一眼两个分支的损失配比残差分支的权重是不是被压得太低导致模型没有真正学习局部模式然后看分解核宽趋势如果已经带走了大部分周期信息残差分支等于在学残差里的噪声下游自然提取不到有用特征最后还要查一下预训练 backbone 的容量如果编码器太浅、patch 太大模型根本没有足够参数去记忆时序语义只会做插值。如果以上都排查完还不行我建议直接在预训练阶段加一个辅助的对比损失比如让同一序列两个不同掩码版本的表示尽可能一致。这个技巧能在一定程度上拉高表征质量让模型更多地去学语义而不是插值。4.3 季节分量重建出现相位错位用块掩码做季节分量重建时如果掩码区间长度跨越了一个完整周期以上模型经常会把被掩码段重建出错误的相位该波峰的位置变成了波谷或者整体时序左移右移了半个周期。问题出在周期对齐信息没有进入重建过程。解决办法有两个第一个是在输入编码器之前给季节分量额外拼接一个周期相位编码向量告诉模型当前时刻处在周期的哪个位置这样掩码区间即使再长模型也知道该生成哪个相位的波形第二个是在训练时引入“周期感知掩码”不让掩码起点完全随机而是按周期边界采样确保被掩码区间不超过半个周期这样重建任务难度更合理相位错位概率大幅降低。4.4 双分支带来的效率和显存开销ST-MTM 比单分支的掩码模型多了一条完整的分支路径训练显存大约增加两成训练时间大约增加三成。如果在有限资源下跑不动可以做几个层面的优化。第一两个分支共享编码器只在输入 token 序列上用额外类型嵌入区分季节和残差这样可以节约近一半的模型参数第二解码器保持足够轻量用一两个 Transformer 块即可不需要和编码器同规模第三分解模块里的滑动平均用深度可分离卷积实现在 GPU 上的开销比池化再裁剪的操作更低。5. 这个框架后续还能往哪些方向扩展5.1 从趋势/季节二分量走向多尺度我用的版本是比较经典的趋势/残差二分量但真实世界的时序数据往往有多个周期叠加小时周期、天周期、周周期、季节性节假日冲击等。在这个框架里你可以把滑动平均核宽设置成多组不同尺度分别提取短、中、长周期的分解层每一层做独立掩码。这样得到的表征会是多尺度分层结构下游做长程预测时优势更明显。5.2 长期预测与异常检测场景适配ST-MTM 预训练出来的表征怎么用也有讲究。做长期预测时我倾向于预训练后不冻结整个编码器而是只冻结分解模块和季节分支的低层表示让残差分支的高层随下游微调。因为在预测任务里近期事件突变对结果的影响往往比稳定周期更大保留残差分支的微调空间会让模型更快适应目标域。做异常检测时则反过来尽量冻结季节分支让模型关注周期性之外的不规则残差——异常往往出现在残差分量中而不是季节分量里。5.3 与当代基础模型的结合把 ST-MTM 放进大模型时代的技术栈里也不突兀。可以把它当作一个前端信号处理器把原始时序拆解后的结构信息拼进 token embedding喂给时序基础模型或者大语言模型做指令微调。这么做的好处是模型不需要从头去领悟趋势和周期之间的区别这层先验知识已经由分解模块提供后面的注意力模块可以专注于“时间点之间怎么交互”的问题。我自己在实际操作中的体会是ST-MTM 这类思路的核心价值不在于把掩码建模这套工具做得更复杂而在于重新回答了一个基础问题我们在自监督预训练里到底想让模型看到什么图像里答案是“结构”文本里答案是“语义”而时间序列里答案是“分层且解耦的时序模式”。如果你也正在做时间序列预训练入坑前不妨先把你手上的数据多可视化几遍确认趋势和季节成分确实分得开再决定要不要上这套双分支掩码方案往往能让你少走不少弯路。
时间序列自监督预训练：ST-MTM季节趋势分解与掩码重建实践
最近在折腾时间序列自监督预训练把 ST-MTM 这个思路从论文落到了代码里。折腾完最大的感受是masked autoencoder 这套玩法在图像上确实香但搬到时间序列上如果直接照搬十有八九会翻车。ST-MTM 的聪明之处在于它先用季节-趋势分解把序列拆开再分别做掩码重建把“解耦”这件事做在了预训练之前。这篇文章就来讲讲这个方案的设计动机、实现细节、踩坑经历和调参心得给同样在做时间序列预训练或者表征学习的同学一个参考。适合读的人有三类一是想搞清楚为什么纯掩码重建在时序上效果不稳定的研究者二是打算把自监督预训练落到自己数据集上的算法工程师三是纯粹想了解季节-趋势分解和掩码时间序列建模如何结合的学习者。1. 为什么纯掩码重建在时间序列上容易翻车1.1 时间序列和图像在结构上的本质差异图像上的 MAE 能成功本质上依赖一个底层假设像素之间的空间相关性是局部的、各向同性的。你遮掉一块区域周围像素能提供足够强的线索让模型通过纹理、颜色、边缘结构重建出被遮掉的内容。换句话说图像信息有天然的“空间冗余”而且这个冗余分布得比较均匀。但时间序列不一样。时间序列有三个在图像里不太存在的特性一是时间依赖是单向的过去影响未来反过来不成立二是数据里往往混合着多个尺度的成分——秒级的突发波动、小时级的周期模式、天级别的趋势漂移这些成分叠在一起统计特性完全不同三是信号的“信息密度”分布极度不均匀。有的位置波动剧烈、细节丰富有的位置长时间缓慢变化、几乎没什么有效信息。直接把图像 MAE 的掩码策略搬到时间序列上问题就出现了。由于时间序列相邻点之间天然存在平滑性你随机遮掉某些时间步后模型不需要理解什么高阶语义只需要在隐藏表示上做一个线性插值就能把 loss 压得很低。模型学到的表征里真正的周期性、事件性、突变性信息占比很低。最后预训练结束你拿去跑下游任务效果比端到端监督训练还差这太常见了。1.2 趋势与季节纠缠产生“惰性解”再往深一层看制约掩码时序建模更核心的问题是趋势trend和季节seasonal成分纠缠在一起。一条真实的时间序列比如某商场的客流数据既有明显的周内周期工作日和周末差异又有缓慢的年度增长趋势。如果让模型直接对原始序列做重建它面对的其实是一个“混合信号”的重建任务。这里存在严重的捷径问题。模型很可能发现只要我重建出一个以局部均值/中位数为主体的平滑曲线趋势部分基本就蒙对了剩下的季节细节稍微糙一点也无所谓。因为从损失函数的角度重建误差主要被趋势的大幅值主导了季节成分的细节误差只占总误差很小一部分。于是模型就能停在某个相对低的 loss 上但这个向量的内部表征能力非常弱——因为它根本不需要精细地建模季节分量就糊弄过去了。我管这叫“惰性解”。除非你的下游任务恰好也是预测这个平滑趋势否则这种预训练表征基本帮不上什么忙。ST-MTM 的核心主张就是把掩码建模目标从“重建原始序列”改成“同时重建季节分量和趋势残差分量”用分解结构倒逼模型分别学习两类不同的时序模式。2. ST-MTM 的结构拆解先解耦再重建2.1 总体框架解读ST-MTM 的整体流程可以用一句话概括输入序列先经过一个可微分的季节-趋势分解模块拆成季节分量和趋势残差分量两个分量分别走各自的掩码与重建分支最后把重建结果相加还原出原始序列。这里要特别说明一下“趋势残差分量”是什么意思。很多做时间序列的人一听到“季节-趋势分解”下意识想到 STL 那种经典的三分量分解趋势项、季节项、残差项。但 ST-MTM 这里做的是近似二分量处理用平滑滤波把缓慢变化的趋势/基线成分估计出来原始序列减去这个趋势估计剩下的部分统称为“去趋势残差”。这个残差里既包含周期性季节成分也包含不规则的突发事件和高频噪声。所谓季节-趋势分解实际是在“长周期低频趋势”和“短周期高频细节”之间划一条清晰的边界。为什么这样处理更合适因为如果硬拆成三个分量残差项会包含大量不可预测噪声你让模型去重建纯噪声没有太大意义只会注入无用的学习信号。而把趋势和一个“包含季节性的残差”分开残差分量里既有结构化的周期信息又有非结构化的细粒度事件信息重建这个分量比重建纯噪声有价值得多。2.2 可微分分解模块的落地实现分解模块必须是可以端到端训练的不能像 STL 那样用离线算法做完再喂给模型。离线分解的问题在于它产生的分量表示是固定的后面任何下游任务都要依赖这个固定表示如果分解质量和任务需求不匹配误差就固化传递下去了。实际落地时最简单的可微分趋势估计就是滑动平均。用一维平均池化或者深度可分离卷积核大小设为kernel_size步长 1padding 保持长度不变输出就是趋势估计x_trend AvgPool1d(x)。然后残差分量就是x_residual x - x_trend。这里kernel_size的选取非常关键它决定你划在哪个频率上核越宽趋势越平滑残差里保留的季节周期信息越多核越窄趋势越接近原始序列残差越接近白噪声。我在实测里发现单纯用固定核宽的滑动平均其实不够稳因为不同样本的周期长度可能有差异。更好的做法是在滑动平均之后再用快速傅里叶变换或者自相关函数估计主周期长度然后对残差分量做一次周期折叠对齐提取出更干净的季节分量。这一步不是 ST-MTM 的必要路径但加上了之后季节分支重建的稳定性会明显提升。2.3 差异化掩码策略的设计这是 ST-MTM 里我认为最有价值的地方两个分量不应该用同一种掩码策略。对于季节分量由于它包含明显的周期结构我建议用块掩码block masking也就是一次遮住连续的一大段时间区间而不是零零散散地随机丢点。为什么因为随机丢点重建太简单了——周期信号自带强先验周围留下两三个点就足以通过插值恢复出整段波形模型还是学不到东西。块掩码让模型真正面对一段完全不可见的区间只能依靠周期相位和长程依赖来重建能迫使它学到周期模式的位置编码和相位关系。对于趋势残差分量情况相反。残差里既有高频事件又有不规则波动如果也做块掩码模型缺乏上下文线索重建纯粹成了瞎猜。更合理的方案是随机掩码point masking以某个比例随机遮住部分时间步让模型利用局部上下文推断缺失点学到的表征更偏向局部细节和异常突变。两条分支掩码比例可以各自独立设置最后把它们在时间维上对齐后分别送入编码器共享或部分共享权重解码重建时再叠加输出。你甚至可以在这个框架基础上为两条分支引入不同的 patch 大小季节分支用大 patch有利于建模长周期残差分支用小 patch保留局部精度。3. 训练细节与关键参数实测3.1 损失函数怎么配ST-MTM 的损失设计看似简单实际有讲究。一种自然想法是只对重建后的总序列算 loss季节性分支和残差分支内部不单独监督这其实会削弱分解的意义。因为取消单独监督后模型有机会反着来——两个分支内部怎么分工它无所谓只要叠加结果对得上就行分解结构就退化成一种“隐变量拆分”达不到强迫解耦的目的。我建议这样设置总损失等于季节分支重建损失、残差分支重建损失和一个可选的周期对齐损失之和。季节分量用平滑 L1 损失或者 L1 损失因为季节成分本身是结构化的用 L1 可以避免 L2 对周期性突变的过度惩罚残差分量用 MSE 损失因为残差里有突发事件MSE 对这类离群点更敏感能逼着模型关注尖锐变化。实际测试下来一个比较稳的配比是loss 0.4 * L1_season 0.6 * MSE_residual周期对齐损失的权重可以设在 0.1 附近作为辅助。这里核心原因是残差分支的任务更难、信息更杂给它更高权重能让模型把更多容量用在硬骨头——低层次的局部模式和高层次事件模式的学习上。3.2 掩码比例的经验值掩码比例是时间序列掩码建模里最重要的超参之一。图像上 MAE 默认 75% 掩码但时间序列上这个值要大幅下调。时间序列信息密度不像图像那样均匀冗余掩码占比过高时模型从可见部分能获取的上下文太少重建任务会退化成一个纯生成任务它学到的表征往往偏向“泛化的先验分布”而不是“可迁移的局部表征”。我跑了几组消融实验对 ETTh1、Electricity 这类带有明显周期和趋势的公共数据集掩码比例在 0.4 到 0.5 之间表现最好。再往上抬到 0.6 以上下游线性探测和微调的效果都开始明显回落。如果你数据集的采样频率很高、冗余度大比如秒级传感器数据掩码比例可以适当放宽到 0.6 到 0.7如果数据本身已经很稀疏比如天粒度业务指标建议保守一点0.3 左右起步。前面说的两个分支仍然可以差异化季节分支的掩码比例可以比残差分支低一些因为块掩码本身已经制造了比较大的重建难度掩码总量太大反而会让周期相位信息丢失导致季节分支重建出来的信号与真实值之间出现整周期错位。3.3 不能不提的归一化处理时间序列的数值分布和多变量通道量纲问题在自监督预训练里比在监督训练里更容易搞炸。预训练阶段如果不对输入做归一化模型会把大量容量浪费在学习不同通道的绝对尺度上而不是相对时序模式上。当预训练数据来自多个数据集或多种传感器类型时这个问题尤其突出。我的做法是参照 RevIN 的思路在进入分解模块前对每个输入窗口做实例归一化先减均值、除以标准差让模型学的是相对波动模式完成重建后再做逆变换回来。注意这里不是简单的 BatchNorm 那种跨样本归一化而是逐实例的。实测下来加了这一步之后季节分支和残差分支在验证集上的重建误差大约能降低 10% 到 15%下游任务效果也有正面提升。如果你嫌麻烦至少在分解模块内部对两个分支分别做归一化不要在原始尺度上直接训练。4. 常见问题与排查技巧实录4.1 分解结果可视化异常很多同学第一次跑通 ST-MTM 之后都会习惯性把分解结果打印出来看这时最常遇到的问题就是趋势分量几乎等于原始序列残差分量看起来平平无奇像是噪声完全没体现出“季节”成分。这个问题九成是滑动平均核宽设置太窄导致的。核宽如果小于数据主周期的长度趋势估计会跟着周期波动残差里就没什么周期性结构留下来。反过来核宽如果设置得太大趋势会过于平坦残差里包含大量低频趋势信息加重了残差分支的学习负担。我的调试经验是先用自相关函数估计出数据主周期 T然后核宽至少取 1.5 到 2 倍 T 作为起点再对比不同核宽下的残差可视化结果。如果残差里还能看到明显的斜线或者平滑漂移说明核宽不够如果残差变成了纯高频毛刺核宽可能有点大需要往回调一点。4.2 训练 loss 下降很快但下游效果差另一个高频问题是预训练时 reconstruction loss 下降得很漂亮25 轮左右就能收敛到很低水平但拿到下游分类任务上做线性探测精度却比从零训练还差。这种情况基本可以判断模型又走了“惰性解”。排查路径我从上到下依次检查先看一眼掩码比例是不是太高了把任务变成了纯生成再看一眼两个分支的损失配比残差分支的权重是不是被压得太低导致模型没有真正学习局部模式然后看分解核宽趋势如果已经带走了大部分周期信息残差分支等于在学残差里的噪声下游自然提取不到有用特征最后还要查一下预训练 backbone 的容量如果编码器太浅、patch 太大模型根本没有足够参数去记忆时序语义只会做插值。如果以上都排查完还不行我建议直接在预训练阶段加一个辅助的对比损失比如让同一序列两个不同掩码版本的表示尽可能一致。这个技巧能在一定程度上拉高表征质量让模型更多地去学语义而不是插值。4.3 季节分量重建出现相位错位用块掩码做季节分量重建时如果掩码区间长度跨越了一个完整周期以上模型经常会把被掩码段重建出错误的相位该波峰的位置变成了波谷或者整体时序左移右移了半个周期。问题出在周期对齐信息没有进入重建过程。解决办法有两个第一个是在输入编码器之前给季节分量额外拼接一个周期相位编码向量告诉模型当前时刻处在周期的哪个位置这样掩码区间即使再长模型也知道该生成哪个相位的波形第二个是在训练时引入“周期感知掩码”不让掩码起点完全随机而是按周期边界采样确保被掩码区间不超过半个周期这样重建任务难度更合理相位错位概率大幅降低。4.4 双分支带来的效率和显存开销ST-MTM 比单分支的掩码模型多了一条完整的分支路径训练显存大约增加两成训练时间大约增加三成。如果在有限资源下跑不动可以做几个层面的优化。第一两个分支共享编码器只在输入 token 序列上用额外类型嵌入区分季节和残差这样可以节约近一半的模型参数第二解码器保持足够轻量用一两个 Transformer 块即可不需要和编码器同规模第三分解模块里的滑动平均用深度可分离卷积实现在 GPU 上的开销比池化再裁剪的操作更低。5. 这个框架后续还能往哪些方向扩展5.1 从趋势/季节二分量走向多尺度我用的版本是比较经典的趋势/残差二分量但真实世界的时序数据往往有多个周期叠加小时周期、天周期、周周期、季节性节假日冲击等。在这个框架里你可以把滑动平均核宽设置成多组不同尺度分别提取短、中、长周期的分解层每一层做独立掩码。这样得到的表征会是多尺度分层结构下游做长程预测时优势更明显。5.2 长期预测与异常检测场景适配ST-MTM 预训练出来的表征怎么用也有讲究。做长期预测时我倾向于预训练后不冻结整个编码器而是只冻结分解模块和季节分支的低层表示让残差分支的高层随下游微调。因为在预测任务里近期事件突变对结果的影响往往比稳定周期更大保留残差分支的微调空间会让模型更快适应目标域。做异常检测时则反过来尽量冻结季节分支让模型关注周期性之外的不规则残差——异常往往出现在残差分量中而不是季节分量里。5.3 与当代基础模型的结合把 ST-MTM 放进大模型时代的技术栈里也不突兀。可以把它当作一个前端信号处理器把原始时序拆解后的结构信息拼进 token embedding喂给时序基础模型或者大语言模型做指令微调。这么做的好处是模型不需要从头去领悟趋势和周期之间的区别这层先验知识已经由分解模块提供后面的注意力模块可以专注于“时间点之间怎么交互”的问题。我自己在实际操作中的体会是ST-MTM 这类思路的核心价值不在于把掩码建模这套工具做得更复杂而在于重新回答了一个基础问题我们在自监督预训练里到底想让模型看到什么图像里答案是“结构”文本里答案是“语义”而时间序列里答案是“分层且解耦的时序模式”。如果你也正在做时间序列预训练入坑前不妨先把你手上的数据多可视化几遍确认趋势和季节成分确实分得开再决定要不要上这套双分支掩码方案往往能让你少走不少弯路。
