KAN-Transfomer——基于新型神经网络KAN的时间序列猜测

1.数据集先容
ETT(电变压器温度)：由两个小时级数据集（ETTh）和两个 15 分钟级数据集（ETTm）组成。它们中的每一个都包罗 2016 年 7 月至 2018 年 7 月的七种石油和电力变压器的负载特征。
traffic(交通) ：形貌了道路占用率。它包罗 2015 年至 2016 年旧金山高速公路传感器记录的每小时数据
electrity（电力）：从 2012 年到 2014 年网络了 321 个客户每小时电力消耗。
exchange_rate（汇率）：网络了 1990 年至 2016 年 8 个国家的逐日汇率。
Weather：包罗 21 个气候指标，比方氛围温度和湿度。它的数据在 2020 年的每 10 分钟记录一次。
ILLNESS：形貌了患有流感疾病的患者与患者数量的比率。它包罗 2002 年至 2021 年美国疾病控制和预防中心每周数据。
  数据集链接：
https://drive.google.com/drive/folders/1ZOYpTUa82_jCcxIdTmyr0LXQfvaM9vIy

参考文献：
[1]https://arxiv.org/abs/2407.05278

2. 处理方法
（1）方法
KAN（Kolmogorov–Arnold Networks）模块负责初始特征提取。KAN是一种针对时间序列的有效特征提取模块，可以资助模型在更高维度上明白输入特征。Transformer使用编码器和解码器，编码器和解码器部分通过自注意力机制捕捉时间序列中的长程依赖，并实现信息在不同时间步间的高效传播。最后通过嵌入层和全连接层将输入和输出举行维度转换，实现特征的高效表达与映射。
·KAN
KAN 的核心是学习给定题目的组合结构（外部自由度）和单变量函数（内部自由度）。这使得 KAN 不光可以像 MLP 一样学习特征，还可以非常准确地优化这些学习到的特征。KAN 利用了样条曲线和 MLP 的优点，同时避免了它们的缺点。样条对于低维函数来说是准确的，并且可以轻松地举行局部调解，但会受到维数劫难的影响。另一方面，MLP 更善于利用组合结构，但难以优化单变量函数。通过结合这两种方法，KAN 可以比单独的样条曲线或 MLP 更有效地学习和准确地表示复杂函数。

·Transformer

（2）实行效果
训练集、验证集和测试集分别设置为6：2：2，实行参数设置如下：

1. parser = argparse.ArgumentParser(description='KAN')
2. parser.add_argument('--look_back', type=int, default='10', help='历史look_back步,修改这里也要修改model的look_back')
3. parser.add_argument('--T', type=int, default='1', help='预测未来的T步,修改这里也要修改model的T')
4. parser.add_argument('--epochs', type=int, default='300', help='训练轮数')
5. parser.add_argument('--batch_size', type=int, default='32', help='批大小')
6. parser.add_argument('--data_path', type=str, default='mydata/ETTm1.csv', help='文件路径')
7. parser.add_argument('--freq', type=str, default='15min', help='时间特征编码')# freq选项:[s:秒，t:分钟，h:小时，d:每天，b:工作日，w:每周，m:每月]，也可以使用更详细的频率，如'15min'或'3h'
8. parser.add_argument('--num_features', type=int, default='6', help='数据一共多少个特征')
9. parser.add_argument('--target', type=str, default='OT', help='预测的目标变量')
10. parser.add_argument('--embed_dim', type=int, default='32', help='嵌入维度')
11. parser.add_argument('--dense_dim', type=int, default='128', help='隐藏层神经元个数')
12. parser.add_argument('--num_heads', type=int, default='4', help='头数')
13. parser.add_argument('--dropout_rate', type=float, default='0.1', help='失活率')
14. parser.add_argument('--num_blocks', type=int, default='2', help='编码器解码器数')
15. parser.add_argument('--learn_rate', type=float, default='0.001', help='学习率')args = parser.parse_args()

复制代码

注：需根据数据集的特征进一步探索最合适的参数组合，以提升模型性能。
本文方法ETTm1数据集：

本文方法ETTh1数据集：

3. 代码下载
KAN-Transfomer——基于新型神经网络KAN的时间序列猜测

最后：
小编会不定期发布相关设计内容包罗但不限于如下内容:信号处理、通讯仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......渴望能帮到你！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。