ToB企服应用市场:ToB评测及商务社交产业平台

标题: 【Python】基于动态残差学习的堆叠式LSTM模型和传统BP在股票预测中的应用 [打印本页]
作者: 大号在练葵花宝典    时间: 2024-4-26 16:13
标题: 【Python】基于动态残差学习的堆叠式LSTM模型和传统BP在股票预测中的应用
1. 前言

本论文探讨了长短时记忆网络（LSTM）和反向传播神经网络（BP）在股票价格预测中的应用。首先，我们介绍了LSTM和BP在时间序列预测中的基本原理和应用背景。通过对比分析两者的优缺点，我们选择了LSTM作为基础模型，因其能够有效处理时间序列数据中的长期依赖关系，在基础LSTM模型的基础上，我们引入了动态残差学习（dynamic skip connection）的概念，通过动态调整残差连接，提高了模型的长期记忆能力和预测准确性。实验证明，动态残差的引入在股票价格预测任务中取得了显著的改进效果。进一步地，我们探讨了堆叠式LSTM的改进方法，通过增加模型的深度来捕捉更复杂的时间序列模式。我们详细阐述了堆叠式LSTM的结构和训练过程，并通过实验证实其在股票价格预测中的优越性。结果表明，堆叠式LSTM在处理多层次的时间序列信息上具有更强的表达能力，提高了模型的泛化性能。综合而言，本论文通过对LSTM和BP在股票价格预测中的应用进行研究，进一步引入了动态残差学习和堆叠式LSTM的改进方法，提高了模型的性能和稳健性。这些方法为金融领域的时间序列预测提供了有效的工具和思路，对于投资决策和风险管理具有重要的实际意义。
| Colab Notebook | Github Rep |
2. 数据集和方法选用

随着信息技术的不断发展和大数据的涌现，研究者们越来越倾向于利用高频、多维的金融数据来提升预测模型的性能。在这一趋势中，长短时记忆网络（LSTM）作为一种强大的时序建模工具，凭借其对长期依赖关系的出色捕捉能力，引起了广泛的关注。同时，动态残差学习和堆叠式LSTM等改进方法的引入进一步提高了模型的复杂性和性能。本研究在这一背景下，以中国股票市场为研究对象，旨在利用这些先进的深度学习技术，提高对系统性风险的识别和预测能力。
2.1 数据集描述

为了确保时间序列的稳定性，我们选择了这些具有相对较长历史的股票。我们的数据集来源于 investing.com、Yahoo Finance、Yahoo Finance等，通过网络爬虫爬取和网站直接下载的方式，获取了中国股票市场中时间较长的四只股票的日频数据。这些股票的历史数据涵盖多年，每日记录超过7000条。
2.2 数据获取过程

在使用网络爬虫获取金融数据时，主要步骤包括选择数据源、确定数据获取的方法、编写爬虫代码、处理数据并保存。首先我们确定了要获取数据的来源，就是上面所说的几个股票网站，随后我们确定了数据获取的方法，查看数据源是否提供API接口和直接下载的链接。如果有，就可以使用API或者直接下载方式来更加方便和规范地获取数据。如果没有API，则能需要考虑使用爬虫技术从网页中提取数据。到了编写爬虫代码的步骤， 我们选择使用爬虫，于是编写代码来模拟浏览器行为，请求网页并解析HTML内容。具体使用的Python中的requests库来用于发送HTTP请求，除此之外还使用了BeautifulSoup和lxml等库用于解析所获取到HTML。最后我们进行了处理数据并保存，提取了后面再进行特征工程时所需要的信息，然后进行简单的数据清理和处理。最后，将数据保存到本地文件或数据库中。最后我们保存了四只符合条件的股票。


表 I四只股票的详情信息（名称用序号替换）序号记录开始时间记录结束时间记录条数0000011991-01-292020-04-1469360000021991-01-292020-04-1869400000041991-01-142020-04-1468200000061992-04-272020-04-186603示例代码1使用爬虫获得股票信息（伪代码）
  1. import requests  
  2. from bs4 import BeautifulSoup  
  3. import pandas as pd  
  4. import yfinance as yf  
  5. from tiingo import TiingoClient  
  6.   
  7. # 函数：爬取 investing.com 的历史股价数据  
  8. def scrape_investing(stock_code):  
  9.     url = f'https://www.investing.com/equities/{stock_code}-historical-data'  
  10.     response = requests.get(url)  
  11.     soup = BeautifulSoup(response.text, 'html.parser')  
  12.     data_table = soup.find('table', {'id': 'curr_table'})  
  13.     data = pd.read_html(str(data_table))[0]  
  14.     return data  
  15.   
  16. # 函数：爬取 Yahoo Finance 的历史股价数据  
  17. def scrape_yahoo_finance(stock_code):  
  18.     stock_data = yf.download(stock_code, start="1991-01-01")  
  19.     return stock_data
  20.         
  21. # 函数：爬取 Tiingo 的历史股价数据  
  22. def scrape_tiingo(stock_code, api_key):  
  23.     config = {  
  24.         'session': True,  
  25.         'api_key': api_key  
  26.     }  
  27.     client = TiingoClient(config)  
  28.     stock_data = client.get_ticker_price(stock_code, fmt='json', startDate='2000-01-01')  
  29.     data = pd.DataFrame(stock_data)  
  30.     return data  
  31.   
  32. # 函数：筛选至少有6800条记录的数据  
  33. def filter_data(data, min_records=6800):  
  34.     if len(data) >= min_records:  
  35.         return data  
  36.     else:  
  37.         return None  
  38.   
  39. # 股票代码  
  40. stock_code = 'xxxx'  # 示例伪代码  
  41.   
  42. # 爬取数据  
  43. investing_data = scrape_investing(stock_code)  
  44. yahoo_finance_data = scrape_yahoo_finance(stock_code)  
  45. tiingo_data = scrape_tiingo(stock_code, 'TIINGO_API_KEY')  # 真实的Tiingo API 密钥  
  46.   
  47. # 筛选数据  
  48. investing_data = filter_data(investing_data)  
  49. yahoo_finance_data = filter_data(yahoo_finance_data)  
  50. tiingo_data = filter_data(tiingo_data)  
  51. # 清洗数据...  
  52. # 保存文件...  
复制代码
在数据获取的过程中，我们也遇到一些困难，有网站有反爬虫机制，它们采取反爬虫机制来防止爬虫访问。我们用设置合适的请求头，使用代理IP解决了这个问题，还有动态加载的问题， 一些网页如新三板网站（xinsanban.eastmoney.com）使用JavaScript进行动态加载数据，这样爬虫可能无法直接获取到所有的信息。解决办法是我们使用Docker部署一个splash来爬取数据。
注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 1.  使用Splash来解决爬取网页需要JavaScript动态加载的问题2.3 选股标准：

在选股时，我们考虑了这四只股票在中国股票市场中的代表性、其历史数据的时间跨度，以及它们的交易活跃度。这种选股标准的应用旨在使我们的研究更具有代表性，能够更全面地反映中国股票市场的整体波动。
2.4 机器学习方法：

我们采用了深度学习方法，主要是长短时记忆网络（LSTM）。并且与BP神经网络进行了一个对比实验，LSTM作为一种递归神经网络，在捕捉时间序列数据中的长期依赖关系方面表现出色。通过对股票价格的历史数据进行训练，我们预期的是LSTM能够有效地建模和预测未来的价格趋势。
2.5 改进方法：

在基础的LSTM模型上，我们引入了动态残差学习和堆叠式LSTM的改进方法。动态残差学习旨在通过调整残差连接，提升模型的长期记忆能力。而堆叠式LSTM通过增加模型的深度，更好地捕捉时间序列中的复杂模式。这些改进方法旨在提高模型对系统性风险的识别和预测能力，使其更适用于金融领域的时间序列预测任务。
3. 反向神经网络以及短期记忆网络的数学表达

反向传播（BP）神经网络是一类人工神经网络，在机器学习和模式识别领域非常受欢迎。这些网络属于监督学习算法家族，尤其以其学习输入和输出数据之间复杂映射的能力而闻名。术语“反向传播”是指误差通过网络向后传播的训练过程，从而能够调整权重以最小化预测输出和实际输出之间的差异。
3.1 反向传播原理的概念

3.1.1 神经网络结构

BP神经网络由输入层、一个或多个隐藏层和输出层组成。每层都包含互连的节点，每个连接都与一个权重相关联。
3.1.2 前馈过程

在前馈过程中，输入数据在网络中逐层传播，通过每个节点中的加权连接和激活函数进行转换。此过程生成网络的输出。如下公式(1)，前馈的过程是通过网络传播输入以使用激活函数生成输出。

\[a_j^{(l)} = g(z_j^{(l)}) （1）\]
FIGURE 2.  BP神经网络的前馈过程(图源知乎)
3.1.3 误差计算：

将网络生成的输出与实际目标值进行比较，并计算误差。常见的误差函数包括均方误差 (MSE) 或交叉熵。如下公式(2)，误差计算是计算预测\(a_k^{(L)}\)和实际\(y_k\)输出之间的差异。

\[E=\frac{1}{2}\sum_{k}(y_{k}-a_{k}^{(L)})（2）\]
注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 3.  BP神经网络的误差计算(图源知乎)3.1.4 反向传播算法

反向传播算法涉及权重的迭代调整以最小化误差。首先进行梯度计算（公式3）用微积分的链式法则计算误差相对于每个权重的梯度。然后更新权重（公式4），权重以梯度的相反方向更新，目的是减少误差。再引入学习率，以此来控制权重更新期间的步长。它可以防止超调或收敛问题。然后是激活函数（公式5），它向网络引入非线性，使其能够学习复杂的关系。最后训练迭代前馈和反向传播步骤重复多次迭代或历元，直到网络收敛到误差最小化的状态。
注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 4.  BP神经网络的反向传播(图源知乎)
\[\frac{\partial E}{\partial\omega_{\ddot{\mathrm{ij}}}^{(1)}}=\delta_{j}^{(l+1)}*a_{i}^{(l)} （3）\]

\[\omega_{\mathrm{ij}}^{(l)}=\omega_{\mathrm{ij}}^{(l)}-\alpha\frac{\partial E}{\partial\omega_{ij}^{(l)}}（4）\]

\[g(z)=\dfrac{1}{1+e^{-z}}ORg(z)=\max(0,Z)（5）\]
3.2 LSTM的原理以及概念

长短期记忆 (LSTM) 网络是一种特殊类型的循环神经网络 (RNN)，旨在克服传统 RNN 中的梯度消失问题。 LSTM 通过捕获远程依赖关系，在建模和预测顺序数据方面特别有效。由于这些网络能够长时间学习和记住信息，因此在自然语言处理、语音识别和时间序列预测中得到了广泛的应用。
FIGURE 5.  直观的LSTM网络结构图(图源知乎)
3.2.1 细胞状态和门

LSTM 引入了贯穿整个序列的单元状态          概念，允许信息随着时间的推移而持续存在。门控制信息流入和流出细胞状态。
3.2.2 三种门

第一种是忘记门，用于决定应丢弃或保留细胞状态中的哪些信息。符号表示为\((f_i)\)，第二种是输入门，用于确定应将哪些新信息添加到单元状态中。符号表示为\((i_t)\)，第三种是输出门，用于记录控制单元状态中的哪些信息应输出到序列中的下一层。符号表示为\((o_t)\)
3.2.3 细胞状态更新

细胞状态通过以下三种步骤来更新。一种是忘记门操作（公式6），一种是输入门操作（公式7），还有一种是细胞状态更新操作（公式8）

\[\quad f_t=\sigma({W_f}*[h_{t-1},x_t]+b_f)（6）\]

\[i_t=\sigma(W_f*[h_{t-1},x_t]+b_i) （7）\]

\[\widetilde{C}=\tanh(W_C*[h_{t-1},x_t]+b_C)（7）\]

\[C_{t}=f_{t}*C_{t-1}+i_{t}*\tilde{C}_{t}（8）\]
3.2.4 隐藏状态更新

隐藏状态使用输出门更新（公式9）

\[\begin{aligned}o_t&=\sigma(W_o*[h_{t-1},x_t]+b_o)\\h_t&=o_t*\tanh(C_t)\end{aligned} (9)\]
3.2.5 训练和反向传播

LSTM 使用随时间反向传播 (BPTT) 进行训练，其中计算损失相对于参数的梯度并用于更新权重。
4. 用堆叠式和动态残差来改进短期记忆网络

4.1 堆叠式 LSTM的原理以及概念

堆叠式长短期记忆 (LSTM) 网络，即Stacked Long Short-Term Memory Networks是传统 LSTM 架构的扩展，旨在捕获顺序数据中更复杂和分层的模式。通过将多个 LSTM 层相互堆叠，这些网络增强了表示学习能力，从而可以对时间序列数据中复杂的依赖关系进行建模。堆叠架构能够提取分层特征，使其在时间序列预测、自然语言处理和语音识别等任务中特别有效。 它相对于传统的LSTM有顺序信息流、层次特征提取、分层结构、随时间的训练和反向传播的特点。
4.1.1 分层结构

堆叠 LSTM 由多个 LSTM 层组成，其中每层都包含自己的一组 LSTM 单元。信息按层次结构流过这些层，使网络能够学习复杂的表示。
注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 6.  堆叠式LSTM在一维空间上的展示图(图源知乎)堆叠 LSTM 由多个 LSTM 层组成，其中每层都包含自己的一组 LSTM 单元。信息按层次结构流过这些层，使网络能够学习复杂的表示。其公式如下（公式10）
\[\begin{aligned}h_t^{(1)}&=LSTM1(x_t,h_{t-1}^{(1)},C_{t-1}^{(1)})\\h_t^{(2)}&=LSTM2(h_t,h_{t-1}^{(2)},C_{t-1}^{(2)})\end{aligned}（10）\]
4.1.2 顺序信息流

每个 LSTM 层处理顺序输入数据，一层的输出作为堆栈中下一层的输入。这种顺序信息流使模型能够捕获不同抽象级别的依赖关系。
4.1.3 层次特征提取

堆叠 LSTM 层可以提取分层特征。较低层可以捕获简单的时间模式，而较高层可以根据较低层的输出学习更抽象和复杂的表示。
4.1.4 随时间的训练和反向传播

与传统 LSTM 类似，堆叠 LSTM 使用 BPTT 算法进行训练。在反向传播期间通过整个堆栈计算梯度，从而允许考虑整个层次结构的权重更新。
4.2 动态残差 LSTM的原理以及概念

注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 7.  动态残差LSTM展示图(图源知乎)动态残差长短期记忆 (LSTM) 网络是传统 LSTM 架构的扩展，结合动态跳跃连接来增强模型捕获顺序数据中的长期依赖性的能力。通过引入动态残差学习，这些网络旨在提高 LSTM 模型的训练收敛性和整体性能。这项创新从残差网络 (ResNets) 中汲取灵感，专为应对序列数据带来的特定挑战而量身定制。4.2.1 Residual Learning(剩余学习)

受 ResNets 启发，动态残差 LSTM 集成了残差学习的概念。这涉及引入跳跃连接，允许网络直接学习残差映射，从而缓解梯度消失问题。
4.2.2 Dynamic Skip Connections(动态跳跃连接)

与跳跃连接是固定的传统残差网络不同，动态残差 LSTM 引入了基于输入数据的跳跃连接的可变性（公式11）。跳跃连接在训练过程中动态调整，使模型能够适应输入序列的不同复杂性。因此LSTM的单元操作也需要做出相应的更改（公式12）

\[s_t=DynamicSkipConnection(x_t,h_{t-1})（11）\]

\[h_{t}=LSTM(x_{t}+s_{t},h_{t-1}^{(1)},C_{t-1}^{(1)}) （12）\]
4.2.3 增强的长期依赖处理

动态跳跃连接通过为梯度流提供快捷路径来增强 LSTM 处理长期依赖关系的能力。这有助于缓解反向传播过程中与梯度消失相关的问题。
4.2.4 训练和反向传播

动与传统 LSTM 类似，动态残差 LSTM 使用随时间反向传播 (BPTT) 进行训练。然而，动态跳跃连接的存在引入了需要在训练期间学习的额外参数。
5. 实证分析和实验设计

5.1 数据集部分展示以及说明

注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 8.  四只股票中的其中一只股票的部分展示图每只股票都有至少6800条数据，每个数据都有十个特征值，包括开盘、最高、最低、收盘、涨幅、振幅、总手、金额、换手、成交次数。对于测试集的选取，我们选用的后100天的数据，即最后100条数据。5.2 传统 LSTM构建展示
  1. # 传统LSTM模型
  2. from keras.models import Sequential
  3. from keras.layers import LSTM, Dropout, Dense
  5. d = 0.0001
  6. model = Sequential()  # 建立层次模型
  7. model.add(LSTM(64, input_shape=(window, feanum), return_sequences=True))  # 建立LSTM层
  8. model.add(Dropout(d))  # 建立的遗忘层
  9. model.add(LSTM(16, return_sequences=False))  # 建立LSTM层，不需要再次指定input_shape
  10. model.add(Dropout(d))  # 建立的遗忘层
  11. model.add(Dense(4, activation='relu'))   # 建立全连接层，移除init参数
  12. model.add(Dense(1, activation='relu'))  # 建立全连接层，移除init参数
  13. model.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
  14. model.fit(X_train, y_train, epochs=200, batch_size=256)  # 训练模型，使用epochs代替nb_epoch
复制代码
5.3 堆叠式LSTM构建展示
  1. # 堆叠式LSTM模型
  2. from keras.models import Sequential
  3. from keras.layers import LSTM, Dropout, Dense
  5. d = 0.0001
  6. model_stack = Sequential()  # 建立层次模型
  7. model_stack.add(LSTM(64, input_shape=(window, feanum), return_sequences=True))  # 建立LSTM层
  8. model_stack.add(Dropout(d))  # 建立的遗忘层
  9. model_stack.add(LSTM(32, return_sequences=True))  # 建立LSTM层，不需要再次指定input_shape
  10. model_stack.add(Dropout(d))  # 建立的遗忘层
  11. model_stack.add(LSTM(16, return_sequences=False))  # 建立LSTM层，不需要再次指定input_shape
  12. model_stack.add(Dropout(d))  # 建立的遗忘层
  13. model_stack.add(Dense(4, activation='relu'))   # 建立全连接层，移除init参数
  14. model_stack.add(Dense(1, activation='relu'))  # 建立全连接层，移除init参数
  15. model_stack.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
  16. model_stack.fit(X_train, y_train, epochs=200, batch_size=256)  # 训练模型，使用epochs代替nb_epoch
复制代码
5.4 动态残差+LSTM构建展示
  1. from keras.layers import LSTM, Dropout, Dense, Lambda, Layer, Input
  2. from keras.models import Sequential
  3. from keras import Model
  4. from keras.layers import GlobalAveragePooling1D
  5. import keras.backend as K
  7. # 自定义动态残差层
  8. class DynamicResidualLayer(Layer):
  9.     def __init__(self, **kwargs):
  10.         super(DynamicResidualLayer, self).__init__(**kwargs)
  12.     def build(self, input_shape):
  13.         super(DynamicResidualLayer, self).build(input_shape)
  15.     def call(self, inputs, **kwargs):
  16.         x, skip_connection = inputs
  17.         return K.concatenate([x, skip_connection], axis=-1)
  19.     def compute_output_shape(self, input_shape):
  20.         return input_shape[0][0], input_shape[0][1], input_shape[0][2] * 2
  22. # 堆叠式LSTM + 动态残差模型
  23. inputs = Input(shape=(window, feanum))
  24. x = LSTM(64, return_sequences=True)(inputs)
  25. x = Dropout(d)(x)
  27. # 第一个动态残差层
  28. skip_connection1 = LSTM(64, return_sequences=True)(x)
  29. x = DynamicResidualLayer()([x, skip_connection1])
  31. # 第二个动态残差层
  32. skip_connection2 = LSTM(32, return_sequences=True)(x)
  33. x = DynamicResidualLayer()([x, skip_connection2])
  35. # 第三个动态残差层
  36. skip_connection3 = LSTM(16, return_sequences=True)(x)
  37. x = DynamicResidualLayer()([x, skip_connection3])
  39. x = GlobalAveragePooling1D()(x)
  40. x = Dropout(d)(x)
  41. x = Dense(4, activation='relu')(x)
  42. outputs = Dense(1, activation='relu')(x)
  44. model_dynamic = Model(inputs=inputs, outputs=outputs)
  45. model_dynamic.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
  46. model_dynamic.fit(X_train, y_train, epochs=200, batch_size=256)  # 训练模型，使用epochs代替nb_epoch
复制代码
5.5 三种模型信息展示

注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 9.  传统LSTM模型信息展示图FIGURE 10.  堆叠式LSTM模型信息展示图FIGURE 11.  堆叠式LSTM+动态残差模型信息展示图5.6 三种模型在训练集和测试集上的结果图

注：图片显示有问题，若想查看图片可以去Github上查看，或者跳转到CSDN博客
https://blog.csdn.net/Zchengjisihan/article/details/135864034?spm=1001.2014.3001.5501
FIGURE 12.  三种模型在训练集上的结果展示图FIGURE 13.  三种模型在测试集上的结果展示图5.7 三种模型的详细指标结果

表 II三种模型的指标详情信息(只保留两位有效小数)——迭代次数100模型MAEMSE准确率MAPELSTM0.900.820.01inf堆叠式LSTM0.0160.000440.431.84堆叠式LSTM+动态残差0.0190.000710.432.16表 III三种模型的指标详情信息(只保留两位有效小数)——迭代次数200模型MAEMSE准确率MAPELSTM0.900.820.01inf堆叠式LSTM0.0130.000340.431.84堆叠式LSTM+动态残差0.0140.000380.431.635.8 实验结论

在这个实验中，我们使用了三种不同的LSTM模型来预测
股票价格：传统的LSTM，堆叠式LSTM，以及堆叠式LSTM+动态残差。每种模型都有其独特的特点和优势。
结束语

如果有疑问欢迎大家留言讨论，你如果觉得这篇文章对你有帮助可以给我一个免费的赞吗？我们之间的交流是我最大的动力！

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4