广义高斯分布在统计学中是一种参数化的连续概率分布，是高斯分布的扩展形式。广义高斯分布是一种灵活的概率模型，通过调整形状参数可以改变分布曲线的形状，从而描述出多种数据特性，如从尖峰到平坦，从轻尾到重尾。

广义高斯分布的模型参数有三个，均值 $\mu$，方差 $\sigma$和形状参数 $\lambda$，它的概率密度函数通常表示为：

$\text{GGD}\left(x\right)=\left[\frac{{\lambda }_n\cdot \eta \left({\lambda }_n,{\sigma }_n\right)}{2\Gamma \left(1/{\lambda }_n\right)}\right]\exp \left\{-\left[\eta \left({\lambda }_n,{\sigma }_n\right)\cdot {\left|x-{\mu }_n\right|}^{{\lambda }_n}\right]\right\}$ (1)

其中， $\eta \left({\lambda }_n,{\sigma }_n\right)=\frac{1}{{\sigma }_n}{\left[\frac{\Gamma \left(3/{\lambda }_n\right)}{\Gamma \left(1/{\lambda }_n\right)}\right]}^{\frac{1}{2}}$。

广义高斯混合模型是基于广义高斯分布的概率模型，通过将多个广义高斯分布加权组合，能够更灵活地拟合复杂数据的分布。广义高斯混合模型的分布为：

$p\left(x\right)={\displaystyle \underset{n=1}{\overset{N}{\sum }}{\pi }_n\text{GGD}\left({\mu }_n,{\sigma }_n,{\lambda }_n\right)}$ (2)

广义高斯混合模型(GGMM)相比单一广义高斯分布(GGD)，拥有更强的灵活性。GGMM通过多个广义高斯分布的加权组合，能够建模多模态分布，捕捉数据中不同区域的多样化特性。相比之下，单一GGD仅适用于单峰分布，无法刻画复杂分布的局部变化和多模态特性。GGMM在数据拟合、精度提升和多样性描述方面显著优于单一GGD，是复杂分布建模中的更优选择。

低秩矩阵分解 [15] 是一种将矩阵分解为几个较小矩阵的技术，这些较小矩阵的乘积近似原矩阵，并且具有较低的秩。低秩矩阵分解在数据分析、图像处理和机器学习等领域有广泛应用，尤其在图像去噪中表现出色。常见的低秩矩阵分解方法包括：奇异值分解 [16] ，主成分分析 [17] ，非负矩阵分解 [18] 。

给定一个矩阵 $X\in {ℝ}^{m\times n}$，低秩矩阵分解是将它近似表示为两个低维矩阵 $U\in {ℝ}^{m\times r}$、 $V\in {ℝ}^{n\times r}$的乘积：

$X\approx U{V}^{\text{T}}$ (3)

其中， $r\ll \min \left(m,n\right)$是分解矩阵的秩。在低秩矩阵分解中，分解矩阵的秩r决定了所保留的特征信息量。通过选择适当的r，可以在压缩数据维度的同时尽量保持原始矩阵的主要结构特征。

首先，利用GGMM对输入矩阵的噪声元素进行建模，从而获得对数似然优化目标;然后通过假设一个高维的潜变量，在EM框架下迭代求解。

考虑噪声部分(记为 ${\epsilon }_{ij}$)，每个元素 $x_{ij}$ $\left(i=1,2,\cdots ,I;j=1,2,\cdots ,J\right)$在低秩矩阵分解中的表达式可以写成：

$x_{ij}=u_i{v}_j^{\text{T}}+{\epsilon }_{ij}$ (4)

用GGMM对原始数据中的未知噪声进行建模。因此，每个 ${\epsilon }_{ij}$服从一个GGMM分布 $p\left(\epsilon \right)$定义为：

(5)

则式(5)中的每个 $x_{ij}$服从GGMM分布，其均值为 ${\Lambda }_n=u_i{v}_j^{\text{T}}+{\mu }_n$，标准差为 ${\sigma }_n$，形状参数为 ${\lambda }_n$。

因此，输入矩阵 $\chi$中每个元素 $x_{ij}$的概率可表示为：

$p\left(x_{ij}|\text{Π},\text{Λ},\sigma ,\lambda \right)={\displaystyle \underset{n=1}{\overset{N}{\sum }}{\pi }_n\text{GGD}\left(x_{ij}|{\text{Λ}}_n,{\sigma }_n,{\lambda }_n\right)}$ (6)

然后定义输入矩阵 $\chi$的可能性：

(7)

目标是最大化关于参数 $\Pi$， $\Lambda$， $\sigma$， $\lambda$的对数似然函数，即：

$\underset{\Lambda ,\Pi ,\sigma ,\lambda }{\max }L\left(\theta \right)={\displaystyle \underset{ij}{\sum }\log {\displaystyle \underset{n=1}{\overset{N}{\sum }}{\pi }_n\text{GGD}\left(x_{ij}|{\Lambda }_n,{\sigma }_n,{\lambda }_n\right)}}$ (8)

EM算法是求解对数似然函数最大化问题的有效算法。因此，在求解式(8)时，我们假设在EM框架下存在一个高维的潜变量。那么原问题可以看作是均值为0的高斯尺度混合(GSM)。定义 $U=\left[u_1,u_2,\cdots ,u_r\right]$， $V=\left[v_1,v_2,\cdots ,v_r\right]$则公式(8)可以改写为：

${\max }_{U,V,\Pi ,\sigma ,\lambda }L\left(\theta \right)={\displaystyle \underset{ij}{\sum }\log {\displaystyle \underset{n=1}{\overset{N}{\sum }}{\pi }_n\text{GGD}\left(x_{ij}|u_i{v}_j^{\text{T}},{\sigma }_n,{\lambda }_n\right)}}$ (9)

为了最大化误差函数 $L\left(\Theta \right)$，我们定义了一个变量 $z_{ijn}$。变量 $z_{ijn}$定义为：

$z_{ijn}=\frac{{\pi }_n\text{GGD}\left(x_{ij}|u_i{v}_j^{\text{T}},{\sigma }_n,{\lambda }_n\right)}{{\displaystyle \underset{n=1}{\overset{N}{\sum }}{\pi }_n\text{GGD}\left(x_{ij}|u_i{v}_j^{\text{T}},{\sigma }_n,{\lambda }_n\right)}}$ (10)

M步使E步给出的关于每个参数的上界最大化，得到新的误差函数：

$E\left(\Theta \right)={\displaystyle \underset{i,j}{\sum }{\displaystyle \underset{n=1}{\overset{N}{\sum }}{z}_{ijn}\left[\log {\pi }_n+\log \left(\frac{{\lambda }_n\eta \left({\lambda }_n,{\sigma }_n\right)}{2\Gamma \left(1/{\lambda }_n\right)}\right)-{\left[\eta \left({\lambda }_n,{\sigma }_n\right)\left|x_{ij}-u_i{\nu }_j^{\text{T}}\right|\right]}^{{\lambda }_n}\right]}}$ (11)

M步更新U、V：仅对未知分量U、V重写公式(11)，如下所示：

${\displaystyle \underset{ij}{\sum }{\displaystyle \underset{n=1}{\overset{N}{\sum }}\eta \left({\lambda }_n,{\sigma }_n\right)z_{ijn}{\left|x_{ij}-u_i{v}_j^{\text{T}}\right|}^{{\lambda }_n}}}={\displaystyle \underset{n=1}{\overset{N}{\sum }}{\Vert W\odot \left(X-U{V}^{\text{T}}\right)\Vert }_{{\lambda }_n}^{{\lambda }_n}}$ (12)

这里 $\odot$表示Hadamard乘积(组件式乘法)，W的元素 $w_{ij}$为

$w_{ij}={\left(\eta \left({\lambda }_n,{\sigma }_n\right)z_{ijn}\right)}^{\frac{1}{{\lambda }_n}}$ (13)

构建惩罚PGGMM模型：

${\max }_{\theta }\left\{E_p\left(\theta \right)=E\left(\theta \right)-P\left(\pi ;\delta \right)\right\}$ (14)

其中， $P\left(\pi ;\delta \right)=J\delta {\displaystyle {\sum }_{n=1}^N{D}_n\log \frac{ϵ+{\pi }_n}{ϵ}}$，J为数据矩阵的列数， $ϵ$是一个非常小的正数， $\delta$为调优参数( $\delta >0$)， $D_n$是第n个分量自由参数的数量。

构造Q函数：

$Q\left(\Theta \right)={\displaystyle \underset{i,j}{\sum }{\displaystyle \underset{n=1}{\overset{N}{\sum }}{z}_{ijn}}}\left[\log {\pi }_n+\log \left(\frac{{\lambda }_n\eta \left({\lambda }_n,{\sigma }_n\right)}{2\Gamma \left(1/{\lambda }_n\right)}\right)-{\left[\eta \left({\lambda }_n,{\sigma }_n\right)\left|x_{ij}-u_i{\nu }_j^{\text{T}}\right|\right]}^{{\lambda }_n}\right]-J\delta {\displaystyle \underset{n=1}{\overset{N}{\sum }}{D}_n}\log \left(ϵ+{\pi }_n\right)$ (15)

本文通过最大化Q函数来更新 ${\pi }_n$，对Q求一阶偏导数，并令导数为0，即可得到更新方程，

${\pi }_n=\frac{\left|IJ\right|\delta D_n-{\displaystyle \underset{ij}{\sum }{z}_{ijn}}}{\left|IJ\right|\left(\delta \hat{D}-1\right)}=\frac{1}{1-\delta \hat{D}}\left[\frac{{\displaystyle \underset{i,j}{\sum }{z}_{ijn}}}{\left|IJ\right|}-\delta D_n\right]$ (16)

其中 $\hat{D}={\displaystyle \underset{n=1}{\overset{N}{\sum }}{D}_n}$。

在更新参数前，先简单介绍一下稳健统计理论。稳健统计理论是一门研究统计估计在存在异常值或非正常分布数据条件下依然保持可靠性的学科。传统的统计方法，如最小二乘法(LS)，虽然在处理正态分布数据时表现良好，但对异常值极其敏感，可能导致估计结果失真。稳健统计通过引入对异常值不敏感的估计方法，提高估计的稳健性和准确性。

M估计是稳健统计中的一种重要方法，其核心思想是通过选择适当的目标函数 $\rho$，使得估计量对异常值的影响降到最低。具体来说，假设有一批观测值 $x_{ij}=U+{\delta }_{ij}$，其中U为估计值， ${\delta }_{ij}$为误差项。M估

计通过最小化 ${\displaystyle \underset{i,j}{\sum }\rho \left(x_{ij}-U\right)}$来估计，即U的M估计量是使得其残差的某个函数值达到最小时的值。目标

函数 $\rho$的选择影响估计的稳健性。选定合适的目标函数后，求 $\rho$关于U的导数并设其和为零，得到更新后的U，将新的估计值带入 $E\left(\Theta \right)$对 ${\sigma }_n$的导数，并令其为零，即可得到新的更新公式。具体操作如下。

在迭代步骤设置误差函数 $E\left(\Theta \right)$对 ${\sigma }_n$的导数，我们有

$\frac{\partial E\left(\Theta \right)}{\partial {\sigma }_n}={\displaystyle \underset{i,j}{\sum }{z}_{ijn}}\left\{\frac{1}{{\sigma }_n}+\frac{1}{{\sigma }_n^2}{\left(\frac{\Gamma \left(3/{\lambda }_n\right)}{\Gamma \left(1/{\lambda }_n\right)}\right)}^{1/2}{\left|x_{ij}-u_i{\nu }_j^{\text{T}}\right|}^{{\lambda }_n}\right\}$ (17)

根据稳健统计理论，任何估计值U是由一个隐式方程定义的：

${\displaystyle \underset{ij}{\sum }\Upsilon }\left(x_{ij}-U\right)=0$ (18)

这就给出了U位置作为加权平均值的数值解：

$U=\frac{{\displaystyle \underset{ij}{\sum }{\omega }_{ij}}{x}_{ij}}{{\displaystyle \underset{ij}{\sum }{\omega }_{ij}}}$, ${\omega }_{ij}=\frac{\Upsilon \left(x_{ij}-U\right)}{x_{ij}-U}$ (19)

其中， $\Upsilon \left(r\right)$是目标函数 $\rho \left(r\right)$的导数：

$\rho \left(x_{ij}-U\right)={\left(\frac{\left|x_{ij}-U\right|}{{\sigma }_n}\right)}^{{\lambda }_n}$ (20)

$\Upsilon \left(x_{ij}-U\right)=\frac{\partial \rho \left(x_{ij}-U\right)}{\partial \left(x_{ij}-U\right)}=\frac{{\lambda }_n}{{\sigma }_n^{\lambda }}{\left|x_{ij}-U\right|}^{\lambda -1}\text{sign}\left(x_{ij}-U\right)$ (21)

将其带入权重公式：

${\omega }_{ij}=\frac{{\lambda }_n}{{\sigma }_n^{{\lambda }_n}}{\left|x_{ij}-U\right|}^{{\lambda }_n-1}$ (22)

利用权重更新U，将新的估计值U带入到偏导数公式中，并求解使偏导数为零的 ${\sigma }_n$更新公式：

${\displaystyle \underset{i,j}{\sum }{z}_{ijn}}\left\{\frac{1}{{\sigma }_n}+\frac{1}{{\sigma }_n^2}{\left(\frac{\Gamma \left(3/{\lambda }_n\right)}{\Gamma \left(1/{\lambda }_n\right)}\right)}^{1/2}{\left|x_{ij}-U\right|}^{{\lambda }_n}\right\}=0$ (23)

简化并解出 ${\sigma }_n$的表达式：

${\sigma }_n^{\left(t+1\right)}={\left[\frac{{\lambda }_n{\left(\frac{\Gamma \left(3/{\lambda }_n\right)}{\Gamma \left(1/{\lambda }_n\right)}\right)}^{{\lambda }_n/2}{\displaystyle \underset{i,j}{\sum }{z}_{ijn}}{\left|x_{ij}-U\right|}^{{\lambda }_n}}{{\displaystyle \underset{i,j}{\sum }{z}_{ijn}}}\right]}^{1/{\lambda }_n}$ (24)

下一步是更新 ${\lambda }_n$参数。这涉及到保持其他参数不变，并使用Newton Raphson方法改进 ${\lambda }_n$的估计。每次迭代都要求目标函数 $E\left(\Theta \right)$对参数 ${\lambda }_n$求一阶导数和二阶导数：

$\frac{\partial E\left(\theta \right)}{\partial {\lambda }_n}=\frac{1}{{\sigma }_n}\frac{1}{2}\left[\frac{1}{{\lambda }_n^2}\left(\frac{{\Gamma }^{\prime }\left(\frac{3}{{\lambda }_n}\right)}{\Gamma \left(\frac{3}{{\lambda }_n}\right)}-\frac{{\Gamma }^{\prime }\left(\frac{1}{{\lambda }_n}\right)}{\Gamma \left(\frac{1}{{\lambda }_n}\right)}\right)\right]{\displaystyle \underset{ij}{\sum }{z}_{ijn}}{\left|x_{ij}-u_i{v}_j^{\text{T}}\right|}^{{\lambda }_n}$ (25)

${\lambda }_n^{\left(t+1\right)}={\lambda }_n^{\left(t\right)}-\alpha \frac{\partial E\left({\lambda }_n\right)}{\partial {\lambda }_n}/\frac{{\partial }^{2}E\left({\lambda }_n\right)}{\partial {\lambda }_n^2+\gamma }$ (26)

U，V是通过求解 $\underset{U,V}{\min }{\displaystyle \underset{n=1}{\overset{N}{\sum }}{\Vert W\odot \left(X-U{V}^{\text{T}}\right)\Vert }_{{\lambda }_n}^{{\lambda }_n}}$来评估的。为了计算公式(12)，本文采用ALMF算法(改

进的梯度下降算法)，U和V矩阵的更新基于Adam优化器，并引入了动量项、学习率调度、梯度裁剪和Lookahead技术。

首先，计算误差矩阵和带权重的误差。误差矩阵 $L=U{V}^{\text{T}}$。带权重的误差 $E_w$：

$E_w=W\odot \left(L-X\right)$ (27)

其中，W是输入的权重矩阵，X是原始数据矩阵， $\odot$是逐元素乘法。

基于误差矩阵，分别U和V进行梯度计算，并引入正则化项 ${\lambda }_1$和 ${\lambda }_2$，得到U和V的梯度计算结果：

$g_U=E_w\cdot V+{\lambda }_{1}U$ (28)

$g_V=E_w^{\text{T}}\cdot U+{\lambda }_{2}V$ (29)

为了避免梯度爆炸问题，梯度裁剪将梯度限制在一个阈值c之内：

$g_U\text{}=\max \left(\min \left(g_U\text{},c\right),-c\right)$ (30)

$g_V\text{}=\max \left(\min \left(g_V\text{},c\right),-c\right)$ (31)

接下来，通过Adam优化器更新梯度，分别计算一阶和二阶动量估计 $m_u$， $v_u$以及 $m_V$， $v_V$，并对动量进行偏差校正，得到修正后的 ${\hat{m}}_U$， ${\hat{v}}_U$和， ${\hat{m}}_V$， ${\hat{v}}_V$。利用这些修正后的动量更新矩阵U和V，同时引入权重衰减项，使得优化过程更加稳定。

一阶和二阶动量估计为：

$\{\begin{array}{l}{m}_U={\beta }_1{m}_U+\left(1-{\beta }_1\right)g_U\\ v_U={\beta }_2{v}_U+\left(1-{\beta }_2\right)g_U^2\\ m_V={\beta }_1{m}_V+\left(1-{\beta }_1\right)g_V\\ v_V={\beta }_2{v}_V+\left(1-{\beta }_2\right)g_V^2\end{array}$ (32)

偏差校正结果为：

$\{\begin{array}{l}{\hat{m}}_U=\frac{m_U}{1-{\beta }_{1t}}\\ {\hat{v}}_U=\frac{v_U}{1-{\beta }_{2t}}\\ {\hat{m}}_V=\frac{m_V}{1-{\beta }_{1t}}\\ {\hat{v}}_V=\frac{v_V}{1-{\beta }_{2t}}\end{array}$ (33)

使用校正后的动量来更新U和V，同时引入权重衰减项：

$\{\begin{array}{l}U=U-\eta \left(\frac{{\hat{m}}_U}{\sqrt{{\hat{v}}_U}+ϵ}+{\lambda }_{1}U\right)\\ V=V-\eta \left(\frac{{\hat{m}}_V}{\sqrt{{\hat{v}}_V}+ϵ}+{\lambda }_{2}V\right)\end{array}$ (34)

其中， $\eta$是学习率， $ϵ$是一个防止分母为零的小常数。

每隔k次迭代时执行Lookahead更新，通过在原始更新基础上慢更新U和V，并将慢更新结果赋值给U和V。

$\{\begin{array}{l}{U}_{slow\text{}}=U_{slow}+0.5\left(U-U_{slow}\right)\\ V_{slow}=V_{slow}+0.5\left(V-V_{slow}\right)\end{array}$ (35)

$U=U_{slow}\text{}$， $V=V_{slow}$。

每次迭代后，重新计算误差：

$\text{error}={\Vert W\odot \left(X-L\right)\Vert }_F+{\lambda }_1{\Vert U\Vert }_F+{\lambda }_2{\Vert V\Vert }_F$ (36)

如果误差小于设定的阈值，则停止迭代。采用ALMF方法更新U，V的过程由算法1给出，针对GGMM模型提出的算法总结在算法2中。

为了验证算法的有效性，选择了干净图像Facade数据集进行合成数据实验。并设置了4种不同的噪声设置，分别为：

1) 加入零均值高斯噪声，方差为0.06；

2) 加入零均值高斯噪声，方差为30；

3) 加入混合噪声：[−5, 5]均匀噪声，(0, 0.2)和(0, 0.01)的高斯噪声

4) 加入混合噪声：[−35, −35]均匀噪声，(0, 20)和(0, 10)的高斯噪声

表1 展示了Facade数据集上4种不同噪声情况下的指标数据，最佳结果由粗体表示。根据表中数据得出，在零均值高斯噪声情况下，本文提出的算法的各项指标均优于另外两个算法；在高斯和均匀噪声混合的情况下，只有FSIM在第三种噪声情况下MoG WLRMF算法表现更好，其他情况均本文提出的算法表现更好。

图1 展示了三种去噪方法对Facade数据集的去噪效果图，从图中可以看出，MoG WLRMF对零均值噪声表现效果相对较差，GGMM + EPLL可以对噪声有效去除，相比之下，本文的方法获得的视觉效果更好。

真实高光谱图像的数据实验使用HYDICE城市图像进行演示，此数据集的图像受到大气和水吸收等噪声的严重污染， 图2 展示了HYDICE城市影像中3个严重污染波段的恢复结果，可以看出，该算法在处理这样的真实粗噪声时仍然有很好的性能。