1. 引言

时间序列数据是一种通过大量实验或长时间观测得到的随时间变化的数据，广泛存在于自然界和人类活动中，涵盖了从天气变化到经济波动的各种现象。在许多自然和工程系统中，这些数据常常不是简单的线性或周期性变化，而是会展现出复杂的非线性和不确定性行为。这种复杂性和不确定性在混沌系统中表现得尤为明显。

混沌时间序列由混沌非线性动力系统产生，会呈现出复杂且近似随机的特征，其背后隐藏着确定性的、但高度敏感依赖于初始条件的动力学过程[1] [2]。由于物理机制过于复杂等种种原因，往往无法确定刻画上述动力学过程的数学模型，而仅能从某个维度获取时间序列观测数据。但是，对混沌时间序列进行准确预测具有重要的现实意义。混沌时间序列预测是利用现有的观测数据建立预测模型，从而推测数据未来的变化趋势。传统的时间序列预测方法主要依赖于基于统计学的回归模型，如自回归(AR)、自回归滑动平均(ARMA)、差分自回归滑动平均(ARIMA)、广义自回归条件异方差(ARCH)等。随着支持向量机与神经网络的发展，这些方法在处理非线性关系、复杂依赖性等方面存在一定的局限性，其预测精度往往受到限制[3]。

近年来，深度学习和机器学习方法的崛起为混沌时间序列预测提供了新方法。长短期记忆网络(LSTM)作为一种广泛应用于时间序列预测的循环神经网络(RNN)模型，凭借其强大的记忆能力和对长期依赖关系的捕捉能力，已成为当前预测混沌时间序列的主要工具。LSTM能够有效地学习数据中的非线性动态特征，在多个复杂系统的预测任务中取得了显著的成果[4] [5]。

时序卷积网络(TCN)属于CNN的一种，因其在捕捉序列的依赖关系和高效的并行计算能力上表现优异，也通常被应用于时间序列的预测[6]。TCN通过引入膨胀因果卷积，能够有效捕捉序列中的长短期依赖关系，同时保持计算的高效性。与传统的递归神经网络(RNN)相比，TCN具有更强的并行计算能力，因为它不依赖于时间步之间的递归关系，而是通过滑动窗口在整个序列中进行卷积操作，从而大大加速了训练和推理过程[7] [8]。Wu等人将TCN应用于混沌时间序列预测，提出了一种结合注意力机制与TCN的混合模型，以实现更高效的预测[9]。

随着CNN与RNN的发展，研究者们逐渐探索将二者相结合，构建新的混合模型提升模型的预测性能。黄远等人提出了CNN-Att-LSTM模型，以提高模型的预测效果[10]。Wu等人提出的Conv-LSTM模型通过将卷积运算与LSTM结合，能够更好地提取时间序列中的局部特征，从而提高预测精度[11]。Dudukcu等人也验证了CNN结合LSTM的混合架构相对于单一架构能表现出最优的预测性能[8]。

混沌时间序列预测研究中，相空间重构是一个重要的理论基础。根据该理论，系统中每个变量的演变不仅受自身变化的影响，还受到其他相互作用变量的影响。因此，每个变量的演化过程本身包含了其他变量变化的信息[12]。Packard等提出利用坐标延迟重构法进行相空间重构，并由Takens提供了理论支持，证明了在适当的嵌入维度下，能够恢复原始动力系统的状态空间，进而揭示系统的潜在动力学特征[13] [14]。通过结合相空间重构与深度学习方法，能够提高模型预测混沌时间序列的能力。

因此，本文提出了TCN-LSTM的混合模型，在重构的相空间中预测混沌时间序列，主要通过TCN模型提取重构相空间中的空间特征，再结合LSTM强大的预测能力，增强混合模型的预测性能。

本文的结构安排如下，第二节主要介绍混沌时间序列数据集的准备过程，并划分实验所需的训练集与测试集；第三节构建TCN与LSTM模型；第四节展示实验结果并进行分析；在第五节总结研究结果，并讨论研究结论。

2. 混沌时间序列数据集准备

首先简要回顾几个典型的混沌系统.包括Lorenz和Chen连续动力系统以及Logistic、Sine-circle和Hénon离散动力系统，用于生成实验所需的混沌时间序列数据集。

Lorenz连续动力系统：

$\{\begin{array}{l}\stackrel{\dot{}}{x}=\sigma \left(y-x\right)\\ \stackrel{\dot{}}{y}=x\left(\rho -z\right)-y\\ \stackrel{\dot{}}{z}=xy-\beta z\end{array}$ ， (2-1)

当取定参数 $\sigma =10$ 以及 $\beta =8/3$ ， $\rho \in \left[0,250\right]$ 。分支参数 $\rho =28$ 时系统会处于混沌状态，取初始值 $\left[x_0,y_0,z_0\right]=\left[1,1,1\right]$ ，系统(2-1)的吸引子图在各个横截面会呈现出蝴蝶状[15]。

Chen连续动力系统：

$\{\begin{array}{l}\stackrel{\dot{}}{x}=\sigma \left(y-x\right)\\ \stackrel{\dot{}}{y}=x\left(\rho -\sigma \right)-xz+\rho y\\ \stackrel{\dot{}}{z}=xy-\beta z\end{array}$ ， (2-2)

取参数 $\sigma =35$ ， $\beta =3$ ， $\rho \in \left[23,45\right]$ 为分支参数，以 $\left[x_0,y_0,z_0\right]=\left[1,1,1\right]$ 为初值。该系统有着比系统(2-1)更复杂的拓扑结构和动力学行为[16]。

Logistic离散动力系统。由Robert May推广的Logistic离散动力系统的可用迭代公式表示为：

$x_{n+1}=\mu x_n\left(1-x_n\right)$ ， $x_0=0.5$ ， (2-3)

其中分支参数 $\mu \in \left[1,4\right]$ 。随着 $\mu$ 取值的逐渐增大。该离散动力系统轨道会根据分支参数 $\mu$ 的取值表现出混沌或周期性[17]。当 $\mu =3.75$ 时，系统会表现混沌状态。

Sine-circle离散动力系统：

${\theta }_{n+1}={\theta }_n+\Omega -\frac{\mu }{2\pi }\sin \left(2\pi {\theta }_n\right)\mathrm{mod}\left[1\right]$ ， ${\theta }_0=0.5$ ， (2-4)

其中， $\Omega$ 是系统的固定增量或偏移量，取定 $\Omega =0.606661$ ， $\mu \in \left[1,5\right]$ 是刻画非线性强度的分支参数[18]。此时，正弦项 $\sin \left(2\pi {\theta }_n\right)$ 引入了一个非线性的影响，这会导致系统表现出复杂的动力学特性，如混沌或周期倍增现象。当分支参数 $\mu =2.3$ 时，Sine-circle系统会表现混沌状态。

Hénon离散动力系统。由Michel Hénon在1976年提出。这个系统描述了一个二维动力系统，其演化方程可以写成：

$\{\begin{array}{l}{x}_{n+1}=1-a{x}_n^2+y_n\\ y_{n+1}=b{x}_n\end{array}$ ， (2-5)

我们以 $\left[x_0,y_0\right]=\left[0,0\right]$ 作为初始值， $a\in \left(0,1.4\right]$ 为分支参数，取定 $a=1.3,b=0.3$ [19]。

基于系统(2-1)~(2-5)，固定其分支参数取值，生成长度为30,000的混沌时间序列，为了消除瞬态，我们只保留后20,000个序列值用于数据集准备。

下面介绍混沌时间序列预测数据集的准备过程。在坐标延迟重构法中通常需要采用互信息法确定延迟时间 $\tau$ ，利用Cao法确定嵌入维数d [20]。基于系统(2-1)~(2-5)，得到长度为20,000的混沌时间序列，记为

$\left\{x_i:i=1,2,\cdots ,n\right\}$ ， $n=20000$ .

首先，基于延迟时间 $\tau$ 与嵌入维数d，对该混沌时间序列进行相空间重构，此时重构相空间中的状态向量记为

$S=\left(s_1,s_2,\cdots ,s_m\right)=\left[\begin{array}{ccccc}{x}_1& x_2& \cdots & x_{m-1}& x_m\\ x_{1+\tau }& x_{2+\tau }& \cdots & x_{m-1+\tau }& x_{m+\tau }\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{1+\left(d-1\right)\tau }& x_{2+\left(d-1\right)\tau }& \cdots & x_{m-1+\left(d-1\right)\tau }& x_{m+\left(d-1\right)\tau }\end{array}\right]$ ， $m=n-\left(d-1\right)\tau$ ，

则数据集可被表示为

$D_P=\left(S_P,Y\right)=\left\{\left(s_i,s_{i+1,d}\right):i=1,2,\cdots ,m-1\right\}$ ，

其中， $s_{i+1,d}$ 表示的是第i + 1个状态向量的第d维分量， $S_P=\left\{s_i:i=1,2,\cdots ,m-1\right\}={\left(s_1,s_2,\cdots ,s_{m-1}\right)}^{\text{T}}$ 为特征矩阵，即为

$S_P={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_{m-1}\\ x_{1+\tau }& x_{2+\tau }& \cdots & x_{m-1+\tau }\\ ⋮& ⋮& \ddots & ⋮\\ x_{1+\left(d-1\right)\tau }& x_{2+\left(d-1\right)\tau }& \cdots & x_{m-1+\left(d-1\right)\tau }\end{array}\right]}^{\text{T}}$ ，

$Y=\left\{s_{i+1,d}:i=1,2,\cdots ,m-1\right\}={\left(s_{2,d},s_{3,d},\cdots ,s_{m,d}\right)}^{\text{T}}$ 为标签矩阵，即为

$Y={\left[x_{2+\left(d-1\right)\tau },x_{3+\left(d-1\right)\tau },\cdots ,x_{m+\left(d-1\right)\tau }\right]}^{\text{T}}$ ，

此时得到的 $S_P$ 是 $\left(m-1\right)\times d$ 矩阵，Y是 $\left(m-1\right)\times 1$ 矩阵。在数据集 $D_P$ 中，取前16,959组作为训练集，表示为

$D_{Train}=\left\{\left(s_i,s_{i+1,d}\right):i=1,2,\cdots ,16959\right\}$ ，

剩余的3000组作为测试集，表示为

$D_{Test}=\left\{\left(s_i,s_{i+1,d}\right):i=16960,16962,\cdots ,19959\right\}$ 。

基于Lorenz系统x分量生成的混沌时间序列数据集，其数据集设置如表1所示。通过互信息法计算得到的延迟时间为10，利用Cao氏法计算得到的嵌入维数为5。同理于其他系统的每个分量生成的数据集。

Table 1. Dataset settings for the x component of the Lorenz system

表1. Lorenz系统的x分量数据集设置

3. 混沌时间序列预测模型

本节针对混沌时间序列预测问题，提出了TCN-LSTM的混合模型。首先，利用TCN提取重构相空间中的空间特征。接着，串联一个全连接层用于融合输入序列和空间特征，然后利用LSTM内在的记忆机制学习其中的依赖关系和动态变化规律。

首先，将输入序列 $s\in R^d$ 输入到TCN层中，其组成部分主要包括：膨胀因果卷积层、权重归一化层、ReLU激活层、随机失活层以及一个1 × 1卷积层。膨胀因果卷积层是一种特殊的一维卷积层，其特点是在计算每个隐藏单元值时，依赖于输入序列和卷积滤波器的卷积操作。

若输入序列为 $s\in R^d$ ，该卷积操作 $F\left(r\right)$ 在序列位置r处的定义为：

$F\left(r\right)=\left(s{\ast }_{d_r}f\right)\left(r\right)={\displaystyle \underset{i=0}{\overset{k-1}{\sum }}f}\left(i\right)\cdot s_{r-d_r\cdot i}$ ，

其中， $d_r$ 表示膨胀因子，f表示卷积滤波器(长度为k)， $r-d_i\cdot i$ 表示从当前位置r回溯 $d_r\cdot i$ 个步长。通过这一操作生成的隐藏向量被传递至下一层，在该层中通过膨胀卷积进一步计算得到新的隐藏层向量，最终得到一个TCN层的输出向量。重复上述过程，得到第二个TCN层的输出向量，记为 ${\varphi }_{TCN}\left(s\right)$ 。接着，在TCN层后串联一个全连接层，输出空间特征 $\varphi \left(s\right)\in R^d$ ，再将输入状态向量s与空间特征 $\varphi \left(s\right)$ 相结合，得到LSTM的输入，记为 $\left\{x^{\langle t\rangle }:t=1,2,\cdots ,d\right\}$ 。

LSTM的基本单元包括三个主要的门控机制：输入门i，遗忘门f，输出门o，这三个门共同作用，控制信息在神经网络中的流动。具体而言，输入门决定当前时刻输入信息影响到记忆单元的状态的程度；遗忘门决定需要遗忘上一时刻的记忆单元中的信息；输出门则决定当前时刻隐藏状态中包含的记忆信息。此外，还包括记忆单元c，来实现长期记忆或遗忘不重要信息。

首先，输入门通过Sigmoid激活函数控制选择输入信息，同时利用Tanh激活函数来生成新的候选记忆，计算公式为

${\Gamma }_i=\sigma \left(W_i\left[h^{\langle t-1\rangle },x^{\langle t\rangle }\right]+b_i\right)$ ，

${\hat{c}}^{\langle t\rangle }=\tanh \left(W_{\hat{c}}\left[h^{\langle t-1\rangle },x^{\langle t\rangle }\right]+b_{\hat{c}}\right)$ ，

其中， ${\Gamma }_i$ 是输入门的输出， $\sigma$ 表示Sigmoid 激活函数， $W_i$ 和 $b_i$ 分别表示输入门的权重矩阵和偏置， $h^{\langle t-1\rangle }$ 表示前一时刻的隐藏状态， $x^{\langle t\rangle }$ 是当前时刻的输入， ${\hat{c}}^{\langle t\rangle }$ 表示当前时刻候选记忆单元的内容。

然后，计算遗忘门输出

${\Gamma }_f=\sigma \left(W_f\left[h^{\langle t-1\rangle },x^{\langle t\rangle }\right]+b_f\right)$ ，

其中， $W_f$ 和 $b_f$ 分别表示遗忘门的权重矩阵和偏置。进一步，更新记忆单元状态 $c^{\langle t\rangle }={\Gamma }_f{c}^{\langle t-1\rangle }+{\Gamma }_i{\hat{c}}^{\langle t\rangle }$ 。其中， $c^{\langle t\rangle }$ 表示当前时刻的记忆单元状态， $c^{\langle t-1\rangle }$ 表示上一时刻的记忆单元状态。接着，基于当前时刻的记忆单元状态 $c^{\langle t\rangle }$ 和上一时刻的隐藏状态 $h^{\langle t-1\rangle }$ ，计算输出信息 ${\Gamma }_o=\sigma \left(W_o\left[h^{\langle t-1\rangle },x^{\langle t\rangle }\right]+b_o\right)$ 。最后，得到隐藏状态 $h^{\langle t\rangle }={\Gamma }_o\tanh \left(c^{\langle t\rangle }\right)$ 。其中， ${\Gamma }_o$ 表示输出门的输出， $h^{\langle t\rangle }$ 是当前时刻的隐藏状态。

4. 实验及结论分析

在本节中，我们将介绍本文所用的评估指标以及实验结果的分析。首先，给出了实验所使用的评估标准，这些标准是衡量模型性能和效果的关键依据。接着，通过与其他预测模型进行对比分析，展示了TCN-LSTM模型的表现，并对实验结果进行了总结和讨论。

本文使用均方根误差(RMSE)、平均绝对误差(MAE)和决定系数(R²)作为评价指标用于分析模型结果。本节评估了TCN-LSTM模型与其他四种预测模型(TCN、LSTM、MLP以及SVR)在不同混沌时间序列数据集上的表现。TCN-LSTM模型的学习率设置为0.0001，批大小为32。

TCN-LSTM模型与其他四种预测模型在连续动力系统生成的6个数据集上的RMSE、MAE以及R²的差异如表2~4。TCN-LSTM模型在所有数据集上的表现最为优异，在连续动力系统生成的6个数据集中的RMSE与MAE明显低于其他模型，并且R²最接近1。这表明，TCN-LSTM模型能够较好地捕捉到重构相空间中的空间特征，并进行有效预测。相比之下，其他模型(TCN、LSTM、MLP、SVR)的性能较为逊色，特别是SVR模型，其在大多数数据集上的误差最大，说明SVR模型不能很好地捕捉重构相空间中的空间特征，进而预测效果较差。

Table 2. RMSE values on six chaotic time series data sets generated by continuous dynamic systems

表2. 在连续动力系统生成的6种混沌时间序列数据集上的RMSE值

Table 3. MAE values on six chaotic time series data sets generated by continuous dynamic systems

表3. 在连续动力系统生成的6种混沌时间序列数据集上的MAE值

Table 4. R² values on six chaotic time series data sets generated by continuous dynamic systems

表4. 在连续动力系统生成的6种混沌时间序列数据集上的R²值

在离散动力系统生成的混沌时间序列数据集中，TCN-LSTM依旧具有优异的预测能力，结果见表5~7。相对于单一的TCN与LSTM模型，混合模型TCN-LSTM结合了时序卷积和长短期记忆网络的优点，其在RMSE、MAE和R²等评估指标上均领先于其他模型。然而，对于MLP和SVR两个模型虽然在Logistic和Hénon_x数据集上的表现很接近单一模型，但是整体表现较差。

Table 5. RMSE values on four chaotic time series data sets generated by discrete dynamic systems

表5. 在离散动力系统生成的4种混沌时间序列数据集上的RMSE值

Table 6. MAE values on four chaotic time series data sets generated by discrete dynamic systems

表6. 在离散动力系统生成的4种混沌时间序列数据集上的MAE值

Table 7. R² values on four chaotic time series data sets generated by discrete dynamic systems

表7. 在离散动力系统生成的4种混沌时间序列数据集上的R²值

5. 结论

为了验证该混合模型的优势，我们利用Lorenz、Chen等连续动力系统，以及Logistic、Sine-circle和Hénon等离散动力系统生成混沌时间序列。随后，采用坐标延迟重构法对时间序列进行相空间重构，并在重构后的相空间中比较了TCN-LSTM模型与单独的TCN、LSTM、MLP以及SVR模型的预测表现。实验结果表明，TCN-LSTM模型在多个数据集上显著优于其他单一模型，在RMSE、MAE和R²等常用评价指标上均取得了明显更好的性能。

对于该混合模型，TCN能够通过卷积操作避免了长期依赖时常见的梯度消失问题，且能够在多个时间尺度上提取有效的空间信息。针对已知的混沌时间序列，通过坐标延迟重构法重构相空间，利用TCN提取重构相空间中的空间特征；LSTM通过门控机制有效地记忆和忘记序列数据中的依赖关系，从而显著提高预测性能。未来可以尝试引入其他先进的神经网络架构，进一步探索不同模型间的协同效应。此外，还可以考虑多步预测对该模型的影响。

基金项目

吉林省自然科学基金自由探索重点项目(YDZJ202201ZYTS585)。

NOTES

^*通讯作者。

参考文献