模型的开发分为两个关键阶段：数据预处理和模型训练。预处理阶段的关键方面是涉及解决数据集中固有的不平衡问题。原始数据分布如 图1 所示。 图1 描绘了“正常”和“异常”类别的原始分布，显示出与“正常”类别的显著差异，大大超过了“异常”类别的数量。这种不平衡可能会在模型中引入偏差，导致泛化性能不佳，特别是对于少数群体而言。对此本文引入SMOTE技术来缓解这个问题。这种技术产生了少数群体的合成例子，旨在平衡阶级分布而不丢失有价值的信息。

SMOTE过采样方法主要是为了解决数据集中类别不平衡的问题，尤其是少数类样本数量过少的情况。其基本原理是对少数类样本进行人工合成来增加样本数量。它通过在少数类样本与其最近邻的少数类样本之间进行线性插值来生成新的样本 [11] 。

SMOTE的计算公式：假设少数样本中的一个样本点为 $x$，其最近邻的少数类样本为 $x_{nn}$。

$x_{new}=x+rand\left(0,1\right)\times \left(x_{nn}-x\right)$ (1)

其中 $x_{new}$为生成的新样本， $rand\left(0,1\right)$是一个0到1之间的随机数。

SMOTE操作的结果如 图2 所示。该图展示了数据集经过SMOTE操作后的分布，其中“正常”和“异常”类的频率几乎相同，表明成功平衡了数据集。而准备一个平衡的数据集对于训练稳健的异常检测模型至关重要，确保模型不会过度偏向多数类。这一基础预处理步骤有助于更公平、更准确地评估模型在所有类别中的性能，这在异常检测中至关重要。因为在异常检测中，错误分类异常的成本可能很高。

损失函数(Loss Function)用于衡量模型预测值与实际观测值差异的程度，指导模型训练过程中的参数优化。本文采用均方误差(Mean Squared Error, MSE)损失函数。它是一种连续且可微的函数，这一特性使得它在基于梯度的优化算法中表现出色。在随机梯度下降(Stochastic Gradient Descent, SGD)及其变体的优化方法中，MSE的梯度容易计算，从而能够有效地引导模型参数的更新，加速模型的训练收敛过程。

由于MSE对误差进行了平方运算，这使得较大的误差被赋予更高的权重。在实际应用中，对于那些偏离真实值较大的预测，MSE能够给予更强烈的惩罚，促使模型更加注重减少这些较大的偏差，从而提高整体的预测精度。通过对MSE的分析，可以深入理解模型的性能和行为，为模型的改进和优化提供有力的理论支持 [10] 。其性能和效果在大量的研究和实际应用中得到了充分的验证和认可。均方误差MSE的计算公式如下：

$\text{MSE}=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left(y_i-f_i\right)}^2}$ (3)

其中 $y_i$指实际值， $f_i$代表模型的预测输出值， $m$为样本容量。通过先进的优化算法(如高效的Adam优化器 [12] )持续不断地调整模型的参数，以最大程度地减小损失函数的值，从而促使模型能够精准无误地预测未来的时间序列数值，为实际应用提供可靠的决策支持 [8] 。

KAN以Kolmogorov-Arnold表示定理为基石，其核心原理在于通过多层级的线性与非线性组合来近似复杂的函数形态。对于给定的输入向量 $x=\left(x_1,x_2,\cdots ,x_n\right)$，KAN的某一层可以精确地表述为：

$f\left(x\right)=g\left({\displaystyle \underset{i=1}{\overset{k}{\sum }}{p}_i{g}_p\left(x_i\right)}\right)$ (4)

在此表达式中， $p_i$和 $g_p$是可学习的参数， $x_i$是输入 $x$的变换。 $k$是定理中的常数。而激活函数 $g$通常采用诸如ReLU、Sigmoid或Tanh等非线性函数，为模型赋予强大的非线性拟合能力，使得模型能够捕捉到数据中丰富多样的复杂模式和非线性关系 [5] 。 图3 展示了KAN模型的简单结构示意图，该图清晰地描绘了在边缘上的可学习激活函数和在节点上的求和操作，这两个关键组件共同构成了KANs的核心架构。

Transformer是一种用于自然语言处理(NLP)和其他序列到序列(sequence-to-sequence)任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。以下是Transformer的一些重要组成部分和特点：

自注意力机制(Self-Attention)：这是Transformer的核心概念之一，它使模型能够同时考虑输入序列中的所有位置，而不是像循环神经网络(RNN)或卷积神经网络(CNN)一样逐步处理。自注意力机制允许模型根据输入序列中的不同部分来赋予不同的注意权重，从而更好地捕捉语义关系。

多头注意力(Multi-Head Attention)：Transformer中的自注意力机制被扩展为多个注意力头，每个头可以学习不同的注意权重，以更好地捕捉不同类型的关系。多头注意力允许模型并行处理不同的信息子空间。

堆叠层(Stacked Layers)：Transformer通常由多个相同的编码器和解码器层堆叠而成。这些堆叠的层有助于模型学习复杂的特征表示和语义。

位置编码(Positional Encoding)：由于Transformer没有内置的序列位置信息，它需要额外的位置编码来表达输入序列中单词的位置顺序。

残差连接和层归一化(Residual Connections and Layer Normalization)：这些技术有助于减轻训练过程中的梯度消失和爆炸问题，使模型更容易训练。

编码器和解码器：Transformer通常包括一个编码器用于处理输入序列和一个解码器用于生成输出序列，这使其适用于序列到序列的任务，如机器翻译等 [8] 。

Transformer模型的核心精髓在于其独特的自注意力机制(Self-Attention)。对于输入序列 $X=\left(x_1,x_2,\cdots ,x_n\right)$，其中每个元素 $x_i\in {ℝ}^d$，注意力机制的计算过程如下：

$\text{Attention}\left(Q,K,V\right)=\text{Softmax}\left(\frac{Q{K}^{\text{T}}}{\sqrt{d_k}}\right)V$ (5)

式中 $Q=X{W}_Q$， $K=X{W}_K$， $V=X{W}_V$。 $W_Q$， $W_K$， $W_V$均为可学习的参数矩阵，它们在训练过程中不断优化，以捕捉输入序列中元素之间的内在联系和依赖关系。而 $d_k$是K的维度，通过除以 $\sqrt{d_k}$进行缩放，有助于稳定训练和优化注意力得分的分布。

通过这种自注意力机制，模型能够动态地为输入序列中的每个元素分配不同的权重，从而聚焦于对当前预测任务最为关键的部分，有效地捕捉长序列中的各种特征依赖关系。Transformer模型图如 图4 所示。

图4 清晰地展示了Transformer模型关键组成部分。输入首先经过嵌入层进行编码，然后依次通过编码器和解码器模块。编码器中，多边注意力机制使模型能够关注输入序列的不同部分，经过Add&Norm层进行归一化和残差连接。解码器同样包含多边注意力和Add&Norm层，同时还有掩码多头注意力用于处理特定的顺序关系。最终通过线性层和Softmax输出预测结果。

TCN (Temporal Convolutional Network)充分利用一维卷积操作来处理时间序列数据。假设输入序列为 $x=\left(x_1,x_2,\cdots ,x_n\right)$，卷积核大小为k，步长为s，则卷积运算可以精准地表示为：

$y_i={\displaystyle \underset{i=0}{\overset{k-1}{\sum }}{w}_j{x}_{i+j\times s}}$ (6)

其中 $w_j$是卷积核的权重，其数值决定了卷积操作对输入数据的滤波效果。通过调整卷积核的大小、数量和步长等参数，TCN能够有效地提取时间序列数据中的局部特征和短期模式 [9] 。

TCN结构图如 图5 所示，图中展示了内核为三，扩张卷积为[1, 2, 4, 8]的膨胀非因果卷积构成的TCN。扩张卷积为4，即上一层每前推4个时间步的输出，作为这一层的输入。

本文通过构建融合模型首先将输入的时间序列数据经由嵌入层转换为低维向量表示，从而降低数据的维度并提取初始的特征信息。随后，数据通过KAN层进行初步的特征提取和非线性变换，为后续的处理奠定基础。紧接着，利用Transformer的自注意力机制全面捕捉长序列中的依赖关系，充分获取全局上下文信息。最后，通过TCN层进一步精细地提取局部时间特征，从而实现对时间序列数据的全面且深入的理解和分析。

在研究中，本文所构建的深度学习模型吸取了卷积神经网络(CNN)和循环神经网络(RNN)的长处，巧妙地融合了Kolmogorov-Arnold Networks (KAN)、Transformer 和时间卷积网络(TCN)的独特优势，旨在高效处理时间序列数据并实现精准预测。

为了建立故障检测方法，本文首先将一天的光伏发电量(光伏发电量的实际值和预测值)和此前七天的实际光伏发电量的相关性进行了计算，得到了 表2 所示的Pearson相关系数。

从 表2 中可以看出，一天实际发电量和前七天实际发电量(S1, S2, S3, S4, S5, S6,S 7表示此前七天的实际光伏发电量)之间的相关系数都是0.98，说明它们的相关性非常强；而一天预测发电量和前七天的实际发电量相关系数大都是0.97和0.98，则证明我们的预测发电量和七个变量的相关性强，并且预测发电量相对准确。如果我们的预测发电量和七个变量中的某些相关性较弱，那么证明我们的预测数据有问题，此时则应该在模型中寻找问题并予以解决。

为了证明我们的模型的优良性和更好地对预测模型进行故障检测，本文又引入了ROC曲线和AUC值。ROC (Receiver Operating Characteristic)曲线用于评估分类模型在不同决策阈值下的表现。它通过描绘真正率(True Positive Rate, TPR)和假正率(False Positive Rate, FPR)的关系来衡量模型的性能。

真正率(TPR)：即召回率，表示在所有实际为正类的样本中被正确预测为正类的比例，计算公式为：

$\text{TPR}=\frac{\text{TP}}{\text{TP}+\text{FN}}$ (7)

其中TP (True Positive)是将正类预测为正类的样本数，FN (False Negative)是将正类预测为负类的样本数。

假正率(FPR)：表示在所有实际为负类的样本中被错误预测为正类的比例，计算公式为：

$\text{FPR}=\frac{\text{FP}}{\text{FP}+\text{TN}}$ (8)

其中FP (False Positive)是将负类预测为正类的样本数，TN (True Negative)是将负类预测为负类的样本数。

AUC (Area Under the Curve)是ROC曲线下的面积，表示模型区分正负样本能力的大小。AUC的值介于0.5到1之间，值越大表示模型的分类性能越好。AUC = 0.5表示模型的分类能力相当于随机猜测；AUC = 1表示模型的分类能力完美，即对正负类样本完全正确分类 [11] 。

AUC值的数学计算可以通过积分ROC曲线下的面积来实现。通常使用梯形规则(Trapezoidal Rule)近似计算AUC，即将ROC曲线分为多个小梯形，并求和各个梯形的面积。ROC曲线下的面积AUC可通过如下积分表示：

$\text{AUC}={\displaystyle \underset{0}{\overset{1}{\int }}\text{TPR}\left(\text{FPR}\right)\text{d}\left(\text{FPR}\right)}$ (9)

根据上式由光伏发电预测值计算得到ROC曲线和AUC值，如 图10 所示。图中ROC曲线(黄色折线)下面积(Area Under the Curve, AUC)为0.72，该值量化了模型在区分正负样本时的整体效果。AUC值越接近1.0，表明模型的分类性能越优。本研究所得的ROC曲线清晰地位于随机猜测线之上，表明所提出的故障检测模型整体效果不错。