Autoformer: 一种基于自动相关机制的时序预测新架构
Autoformer: 一种基于自动相关机制的时序预测新架构原创 大厂小僧 大厂小僧 2024年12月10日 18:33 北京
论文题目: Autoformer:Decomposition Transformers with
Auto-Correlation for Long-Term Series Forecasting
论文地址：https://openreview.net/pdf?id=I55UqU-M11y
今天给大家介绍一篇时序预测领域的重要算法——Autoformer，由李华等人于2020年提出，并发表于ICLR 2021。Autoformer 采用全新分解架构，将序列分解模块嵌入深度模型内部，能够渐进地分解复杂的时间序列。同时，借鉴随机过程理论，设计了自动相关机制（Auto-Correlation Mechanism），在子序列级别发现依靠关系并举行信息聚合。该方法在恒久预测中展现了优异的性能和盘算效率。
接下来，我会按照Paper的框架对这篇文章举行解读。
1. Abstract
延伸预测时间是实际应用中的关键需求，例如极端天气的提前预警和恒久能源斲丧规划。本文研究了时间序列的恒久预测题目。现有基于 Transformer 的模型采用了各种自注意力机制来捕获长隔断依靠关系。然而，恒久未来中复杂的时间模式使模型难以找到可靠的依靠。此外，Transformer 为了在处理长时间序列时提高效率，不得不采用稀疏的逐点自注意力机制，从而导致信息利用的瓶颈。为突破 Transformer 的限制，本文设计了 Autoformer，一种具有自动相关机制的全新分解架构。本文打破了传统的序列分解预处理方式，将其重新设计为深度模型的根本内部模块。此设计赋予了 Autoformer 渐进分解复杂时间序列的能力。此外，受随机过程理论的开导，基于时间序列的周期性设计了自动相关机制（Auto-Correlation Mechanism），在子序列级别举行依靠关系的发现和表现聚合。与自注意力机制相比，自动相关机制在效率和正确性上均体现精彩。在恒久预测任务中，Autoformer 在六个基准测试上实现了38% 的相对改进，涵盖了五个实际应用领域：能源、交通、经济、天气和疾病预测。
2. Introduction
时间序列预测广泛应用于能源斲丧、交通和经济规划、天气预报以及疾病传播预测。在这些实际应用中，一个紧急的需求是将预测时间扩展到更远的未来，这对于恒久规划和提前预警具有重要意义。因此，本文研究了时间序列的恒久预测题目，其特点是需要预测的时间序列长度较长。近年来，深度预测模型取得了显著希望，尤其是基于 Transformer 的模型。得益于自注意力机制，Transformer 在建模序列数据的恒久依靠方面体现精彩，从而支持构建更强大的大模型。
然而，在恒久预测的设置下，预测任务极具挑衅性。首先，直接从恒久时间序列中发掘时间依靠性并不可靠，因为这些依靠性可能被交织复杂的时间模式所掩饰。其次，传统的具有自注意力机制的 Transformer 模型在恒久预测中盘算成本极高，因为其序列长度的复杂度为二次方。此前的基于 Transformer 的预测模型主要会合于改进自注意力机制，使其成为稀疏版本。尽管这些模型显著提拔了性能，但它们仍旧采用逐点的表现聚合方法。因此，在提高效率的过程中，由于稀疏的逐点连接，这些模型会牺牲信息利用率，终极导致时间序列恒久预测的瓶颈。
为了解释复杂的时间模式，实验引入分解的理念，这是一种时间序列分析中的尺度方法。分解可以用于处理复杂的时间序列并提取更可预测的组成部分。然而，在预测的背景下，由于未来数据未知，分解通常只能用作已往序列的预处理。这种常见的用法限制了分解的能力，并忽视了分解后各组成部分之间潜伏的未来交互。因此，本文实验突破分解作为预处理的传统用法，提出了一种通用架构，使深度预测模型具备渐进式分解的内涵能力。此外，分解可以解开交织的时间模式，并突显时间序列的内涵特性。基于这一点，作者实验利用时间序列的周期性来改造自注意力中的逐点连接。观察到，在周期中相同相位位置的子序列通常出现出相似的时间过程。因此，本文实验基于时间序列周期性导出的过程相似性，构建一种基于序列级别的连接。
基于上述动机，本文提出了一种全新的 Autoformer，用于更换 Transformer 举行恒久时间序列预测。Autoformer 仍旧遵照残差和编码器-解码器结构，但将 Transformer 改造为一种分解预测架构。通过将提出的分解模块嵌入为内部操作单元，Autoformer 能够逐步从预测的隐蔽变量中分离出恒久趋势信息。此设计使模型能够在预测过程中瓜代举行分解和细化中央效果。受随机过程理论的开导，Autoformer 引入了一种 Auto-Correlation（自动相关）机制，更换传统的自注意力机制。该机制基于时间序列的周期性发现子序列的相似性，并从潜伏周期中聚合相似的子序列。该序列级机制对长度为 L 的序列实现了 O(LlogL) 的复杂度，并通过将逐点表现聚合扩展到子序列级别，突破了信息利用的瓶颈。Autoformer 在六个基准测试上实现了开始进的正确性。本文的主要贡献总结如下：
[*] 为了办理恒久未来复杂的时间模式题目，提出了 Autoformer 作为一种分解架构，并设计了内部分解模块，使深度预测模型具备内涵的渐进式分解能力。
[*] 提出了 Auto-Correlation（自动相关）机制，在序列级别举行依靠关系发现和信息聚合。该机制逾越了以往的自注意力家族，能够同时提拔盘算效率和信息利用率。
[*] 在恒久预测任务中，Autoformer 在六个基准测试上实现了38% 的相对改进，覆盖了能源、交通、经济、天气和疾病等五个实际应用领域。
3. Related Work
3.1 Models for Time Series Forecasting
由于时间序列预测的重要性，各种模型得到了充分的发展。许多时间序列预测方法劈头于经典工具。ARIMA通过差分将非平稳过程转化为平稳过程，以办理预测题目。滤波方法也被引入用于时间序列预测。此外，循环神经网络（RNN） 模型被用于建模时间序列的时间依靠性。DeepAR 团结了自回归方法和 RNN，用于建模未来
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]