《Are Transformers Effective?》再验证:金融场景下的Transformer优化研究

时间:2026-09-17

本研究围绕Transformer在时间序列预测中的有效性展开,在复现Zeng等(AAAI 2023)相关研究的基础上,进一步将实验扩展至CSI300和SPY日频金融数据。研究首先在9个通用时序数据集上比较线性模型与Transformer类模型,并重点考察不同数据特征下模型性能是否会发生变化。

针对金融时间序列低信噪比、强非平稳以及多变量交互明显等特点,研究在iTransformer基础上提出轻量化Lite-iTransformer。该模型保留变量维度的自注意力机制,同时缩短回溯窗口、移除FFN和位置编码,并结合RevIN标准化,使模型更加聚焦变量间依赖关系,同时降低模型复杂度。

实验结果表明,Lite-iTransformer在CSI300和SPY数据上均取得本研究所比较模型中的最低MSE,其中CSI300由iTransformer的0.2378下降至0.2225,SPY由0.7844下降至0.7280;模型参数量由137K降低至82K,约为原模型的60%,相对运行速度提升至1.25。

研究结果说明,时间序列预测中模型效果与数据特征、预测任务和模型结构密切相关。通用基准实验中线性模型整体表现较好,而在本研究金融场景下,经过结构简化的Lite-iTransformer表现出更好的预测精度与计算效率,也说明模型选择应结合具体数据特征和验证结果进行判断。