近日，由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024吸收。
论文成果是阿里云与华东师范大学、浙江大学、南京大学等高校共同研发，涉及时间序列与智能运维结合的多个应用场景。包罗基于Pathways架构的自适应多标准时间序列预测模子Pathformer；基于扰动技术的时间序列表明框架ContraLSP；多正常模式感知的频域非常检测算法MACE；轻量数据依赖的非常检测重训练方法LARA。此次，时间序列相关模子等多篇论文的入选，表明阿里云在大数据基础技术范畴的研究得到了国际学术界的认可，不但展示了阿里云的技术竞争力，也创造了更多国际合作交流的大概性。
- ICLR（International Conference on Learning Representations）会议是呆板学习和深度学习范畴的顶级国际会议，与NeurIPS、ICML并称为呆板学习三大顶级会议，在谷歌的全范畴学术指标排行榜中位列前十，以展示人工智能、统计学和数据科学范畴的深度学习各个方面的前沿研究以及呆板视觉、计算生物学、语音识别、文本明白、游戏和呆板人等紧张应用范畴而著名环球。
- ICDE（IEEE International Conference on Data Engineering） 是数据库研究范畴历史久长的国际会议，与SIGMOD、VLDB并称为数据库三大顶级会议，会议聚焦于设计，构建，管理和评估高级数据密集型体系和应用等前沿研究题目。
- WWW（The Web Conference）是为交叉，新兴，综合范畴的顶级会议，CCF-A类，会议关注万维网的未来发展，汇聚全世界相关的科研工作者、从业者和范畴专家，共同讨论互联网的发展、相关技术的标准化以及这些技术对社会和文化的影响。
Pathformer：基于Pathways架构的自适应多标准时间序列预测模子
现实场景中的时间序列在差别的时间标准展现出差别的变化，如云计算场景中的CPU，GPU，内存等资源需求呈现出日、月、季节等独特标准的时间模式。这为时间序列预测带来肯定的困难。一个好的时间序列预测模子必要考虑完备的时序多标准建模本领以及进一步自适应选择多标准的本领。
基于Transformer模子的多标准建模，主要有两个挑战。
1. 不完备的多标准建模。只是针对时间分辨率不能有效地捕捉差别范围的时间依赖关系，相反，考虑时间距离固然能提取差别范围的时间依赖，但全局和局部间隔受到数据划分的影响，单一的时间分辨率并不完备。
2. 固定地多标准建模过程。对所偶然序采用固定的多标准建模阻碍了每个时序的紧张特征捕捉，然而为每个数据集或每个时序手动调整最佳标准非常耗时且难以处理。
针对这些题目，我们提出了一个基于Pathways架构的自适应多标准Transformer模子 Pathformer，它整合了时间分辨率和时间距离提出了一个多标准Transfomer模块，利用双重注意力机制建模局部和全局的时间依赖关系，使模子具备完备的多标准建模本领。其次，我们提出自适应pathways，激活Transformer的多标准间建模本领。它基于输入时序逐层地路由和聚合多标准特征形成了自适应pathways的多标准建模，可以提升模子的预测效果和泛化性。
ContraLSP：基于对比稀疏扰动技术的时间序列表明框架
在智能运维等范畴，为呆板学习模子所做的预测提供可靠的表明具有极高的紧张性。现有的表明方法涉及利用明显性方法，这些方法的表明区分取决于它们与任意模子的交互方式。一些工作创建了明显图，例如，结合梯度或构造注意力机制，以更好地处理时间序列特征，而它们难以发现时间序列模式。其他替代方法，包罗Shapley值或LIME，通过加权线性回归在局部近似模子预测，为我们提供表明。这些方法主要提供实例级别的明显图，但特征间的互相关常常导致明显的泛化误差。在时间序列中最常见的基于扰动的方法通常通过基线、生成模子或使数据无信息的特征来修改数据，但这些扰动的非明显区域并不总是偶然义的并且存在不在数据分布内的样本，导致表明模子存在偏差。
基于此，本文提出了ContraLSP框架，该框架如图所示。这是一个局部稀疏表明模子，它通过引入反事实样本来构建无信息扰动同时保持样本分布。此外，我们融入了特定于样本的稀疏门控机制来生成更倾向于二值化且平滑的掩码，这有助于简洁地整合时间趋势并精选明显特征。在保证标签的一致性条件下，其整体优化目标为：
论文在白盒时序预测，黑盒时序分类等仿真数据，和真实时序数据集分类任务中进行了实行，ContraLSP在表明性能上超越了SOTA模子，明显提升了时间序列数据表明的质量。
MACE：多正常模式感知的频域非常检测算法
非常检测是智能运维范畴的紧张研究方向。近来，基于重构类方法的非常检测模子独占鳌头，在无监督非常检测中达到了很高的准确度，涌现了大量优秀的神经网络模子，例如：基于RNN类的神经网络OmniAnomaly, MSCRED; 基于transformer类的神经网络AnomalyTransformer, DCdetector等，但这类方法一个模子只能较好地捕捉一种或少数几种正常模式。因此，涌现出了一批以元学习为辅助，快速适应差别正常模式的非常检测模子，例如PUAD, TranAD等。但这些方法依然要求对差别的正常模式定制差别的模子，当存在十万级差别正常模式的服务时，很难维护这么多神经网络模子。
与其他神经网络直接从数据样本中判断当前样本是否为非常差别，MACE从数据样本与该数据样本对应的正常模式的关系中提取非常。在MACE中，我们起首提出利用频域表征机制提取出正常模式的频域子空间，并利用频域表征技术把当前数据样本映射到该频域子空间中。若该数据样本离这个正常模式的频域子空间越远则在映射后，映射点与原始样本距离越远，重构误差越大。若该数据样本离这个频域子空间的频域子空间越近，则在映射后，映射点与原始样本距离越近，重构误差越小。因此，我们可以根据当前数据样本与其对应的正常模式频域子空间的关系，令对于当前正常模式而言的正常数据重构误差远小于非常数据的重构误差，以此检测非常。更进一步，我们提出上下文感知的傅里叶变换和反变换机制，有效利用频域的稀疏性提升计算效率，在频域上不存在时序依赖，可以对该模子进行细粒度的高并发实现，进一步减少非常检测的时间开销。别的，我们提出Peak Convolution与Valley Convolution机制对短期非常进行加强使其更轻易被检测到。
LARA：轻量数据依赖的非常检测重训练方法
在云服务的监控场景中，经常出现正常模式随时间不断变化，且在变化初期观测数据数量不敷以支撑模子训练的题目。目前，可以办理正常模式更替变化的方法主要有迁徙学习、元学习、基于信号处理的方法。但同时他们也存在一些毛病，并不完全适配当前题目。例如迁徙学习未考虑本题目中多个历史正常模式之间存在的时序关系。元学习同样未考虑历史正常模式之间的时序关系，同时，必要存储大量的历史数据。基于信号处理的方法，这类方法推理阶段时间开销太大，无法在流量峰值处进行实时非常检测。
因此，我们提出方法LARA办理上述题目。为相识决重训练新观测数据不敷的题目，我们提出反刍模块，该模块利用老模子恢复历史分布中与新观测数据相似的数据，并利用历史数据与新观测数据一起估计每一个新观测数据的隐蔽状态z。为相识决重训练计算开销大的题目，我们利用映射函数M_z和M_x分别把老模子输出的隐蔽状态和重构数据映射为当前分布的隐蔽状态估计值与新观测数据，并数学证实了映射函数令映射误差最小的最优形式为线性，极大低落了重训练开销。更进一步，我们根据M_z 与M_x的形式，提出一种相应的损失函数设计范式，可以保证重训练题目是一个凸题目，具有唯一全局最优解，从而保证较快的收敛速率，低落重训练计算开销，制止陷入过拟合。
论文链接
1.论文标题：Pathformer: Multi-Scale Transformers With Adaptive Pathways For Time Series Forecasting
2.论文标题：Explaining Time Series via Contrastive and Locally Sparse Perturbations
3.论文标题：Learning Multi-Pattern Normalities in the Frequency Domain for Efficient Time Series Anomaly Detection
4.论文标题：LARA: ALight and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection
原文链接
本文为阿里云原创内容，未经允许不得转载。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
