图像在采集和捕捉过程中，往往存在噪声污染和缺失等退化情况，而鲁棒补全对此发挥着重要作用。目前这些方法大多利用图像的全局低秩和局部平滑先验来对其进行建模，包括独立编码方法和融合编码方法。然而，这些方法要么需要对两个以上参数进行繁琐的调整，要么平等地对待梯度矩阵/张量的每个奇异值，从而限制了处理实际问题的灵活性。在本文中，我们提出了改进的张量相关全变分(ITCTV)范数，以充分利用梯度张量的内在结构特性。所提出的ITCTV正则化器不需要权衡参数来平衡两个先验，并且进一步有效地利用了梯度张量奇异值的先验分布信息。我们将提出的方法应用在多种类型的视觉张量数据上，实验结果证明了所提出方法在图像修复上的有效性。

鲁棒补全，改进的张量相关全变分，先验信息，图像修复

Kai Huang¹, Zhongning Li²

¹School of Mathematics and Statistics, Southwest University, Chongqing

²Yinchuan Energy Institute Foundation Department, Yinchuan Ningxia

Received: Mar. 3^rd, 2024; accepted: May 6^th, 2024; published: May 14^th, 2024

In the process of image acquisition and capture, there is often degradation such as noise pollution and missing, and robust completion plays an important role in this. Most current methods for image restoration exploit global low-rankness and local smoothness priors to model them, including independent coding methods and fusion coding methods. However, these methods either require tedious tuning of more than two parameters or treat each singular value of the gradient matrices/tensors equally, thus limiting the flexibility to deal with practical problems. In this paper, we propose an improved tensor correlated total variation (ITCTV) norm to take full advantage of the intrinsic structural properties of the gradient tensors. The proposed ITCTV regularizer does not need to trade-off parameters to balance the two priors, and further effectively utilizes the prior distribution information of the singular values of the gradient tensors. We apply the proposed method to various types of visual tensor data, and the experimental results prove the effectiveness of the proposed method in image restoration.

Keywords:Robust Completion, Improved Tensor Correlated Total Variation, Prior Information, Image Restoration

Copyright © 2024 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

随着当前人工智能、大数据、云计算等现代信息技术的快速发展，在计算机视觉、生物医学等诸多应用领域中产生了多种多样的张量数据。其中图像因其在信息传达上具有直观、形象的特点，在信息传播中该数据存在形式占据了大部分。然而，这些图像在采集和捕捉过程中，由于受到传输物质、成像设备等自身的局限，甚至被外部环境干扰，导致图像总是会存在明显的退化，比如受到不同程度的各种噪声的污染或者缺失等。这些退化会严重降低图像的质量，进而影响后续处理的准确性。因此，如何修复这些图像成为了改善后续任务(如目标检测 [ 1 ] 、图像分类 [ 2 ] 和图像分割 [ 3 ] 等)性能的关键预处理步骤。

上述退化问题实际上产生了张量恢复研究中的两个经典逆问题，即张量鲁棒主成分分析(TRPCA) [ 4 ] 和张量修补(TC) [ 5 ] 。解决这两个问题的关键在于如何表征张量的内部先验结构，并将其编码为相应的正则化项，然后基于该正则化项进行相关建模。近年来，以低秩假设为前提的低秩张量恢复(LRTR) [ 6 ] 为上述问题提供了有效的解决办法。然而，LRTR的研究也是面临着巨大的挑战。一方面，张量秩的定义并不像矩阵那样唯一，其定义依赖于张量分解的方式，目前张量分解中CP、Tucker、HOSVD最具代表性。另一方面，张量秩函数的凸替代和非凸替代的选择或者构造对于恢复底层图像数据的效果也起到了至关重要的作用。这种低秩先验实际上代表了图像全局范围内的信息相关性，即图像处于低维子空间中。除了低秩先验之外，以全变分(TV) [ 7 ] 为代表的局部平滑先验也普遍应用于图像修复。局部平滑先验反映了图像中相邻像素之间像素值的连续变化，它对于恢复图像的局部细节十分重要。因此，大多数工作集中于对全局低秩和局部平滑这两个先验进行联合建模，并将这两个先验编码为恢复模型中两个独立正则化项的和，然后调整相应的正则化参数以提升模型的性能。

然而，由于这两个先验在现实世界中通常是相互耦合的，即它们并不像传统模型中所暗示的那样独立发生，而且在实际场景中构建微调这两个独立正则化项对应的权衡参数的一般准则具有挑战性。鉴于上述情况，最近的工作 [ 8 ] [ 9 ] 基于梯度域将全局低秩和局部平滑这两个先验融合为一个独特的正则化项，该正则化项不仅使全局低秩和局部平滑先验更加紧密地联系在一起，更符合这两个先验本质上相互耦合的事实，而且还减少了传统模型中需要调整的权衡参数。不幸的是，这两项工作都使用核范数来描述梯度图的结构特性，即平等地对待梯度矩阵/张量的每个奇异值，因此其模型的性能仍有进一步改进的空间。因为在实际应用中，图像的各个奇异值由于其特定的物理意义而存在明显的差异。

为了解决上述问题，我们引入了改进的张量相关全变分(ITCTV)范数，其中使用的改进策略有助于进一步表征梯度张量的低秩性和固有稀疏性。我们的主要动机是梯度张量中那些较大的奇异值应该受到较少的惩罚，这是相当合理的。因此，我们对梯度张量采用重加权策略，以利用上述存在的先验信息。对于重加权策略的选择，我们采用了相关文献 [ 10 ] [ 11 ] 中使用的重加权策略，它近似地还原了 0 ≤ p < 1 的Schatten-p范数最小化问题。正确地说，不同于矩阵 X 的传统加权核范数中所使用的加权策略 w i = c ( σ i ( X ) + ε ) − 1 ，由重加权核范数指定的重加权策略 w i = c ( σ i ( X ) + ε ) p − 1 可以更全面地表征真实图像中奇异值的先验分布信息。我们基于所提出的ITCTV正则化器构建了相应的鲁棒张量修补模型，并将其应用到不同类型的视觉张量数据中，结果表明我们的方法较于其他方法在数值和视觉上都有优越的竞争力。

基于所提出的ITCTV正则化器，我们构建如下的鲁棒张量修补模型：

min   1 3 ∑ k = 1 3 ‖ G k ‖ w , ⊛ , L + λ ‖ E ‖ 1 s .t .   P Ω ( X + E ) = P Ω ( M ) ,   G k = ∇ k ( X ) (8)

通过引入辅助变量 K ，使得 X + E = M + K ，那么上述模型(8)可以重新表述为：

min   1 3 ∑ k = 1 3 ‖ G k ‖ w , ⊛ , L + λ ‖ E ‖ 1 s .t .   X + E = M + K ,   P Ω ( K ) = 0 ,   G k = ∇ k ( X ) (9)

根据ADMM框架 [ 13 ] 对上述模型(9)进行求解，我们写出它的增广拉格朗日函数如下：

L ( X , { G k , k = 1 , 2 , 3 } , E , K , { Λ k , k = 1 , 2 , 3 } , ϒ ) = ∑ k = 1 3 ( 1 3 ∑ k = 1 3 ‖ G k ‖ w , ⊛ , L + 〈 Λ k , ∇ k ( X ) − G k 〉 + μ 2 ‖ ∇ k ( X ) − G k ‖ F 2 )         + 〈 ϒ , M + K − X − E 〉 + μ 2 ‖ M + K − X − E ‖ F 2 + λ ‖ E ‖ 1 (10)

其中 { Λ k , k = 1 , 2 , 3 } 和 ϒ 是拉格朗日乘子， μ 是惩罚参数。那么基于ADMM的框架，第(t + 1)次迭代中模型(9)中所涉及变量的更新方式具体如下：

更新 X t + 1 ：通过增广拉格朗日函数(10)式，可以得到关于 X 的优化子问题：

X t + 1 = arg min X ∑ k = 1 3 ( 〈 Λ k t , ∇ k ( X ) − G k t 〉 + μ t 2 ‖ ∇ k ( X ) − G k t ‖ F 2 )     + 〈 ϒ t , M + K t − X − E t 〉 + μ t 2 ‖ M + K t − X − E t ‖ F 2 = arg min X ∑ k = 1 3 μ t 2 ‖ ∇ k ( X ) − G k t + Λ k t μ t ‖ F 2 + μ t 2 ‖ M + K t − X − E t + ϒ t μ t ‖ F 2 (11)

对(11)中的 X 求导，我们可以得到更新 X 的方程为：

( I + ∑ k = 1 3 ∇ k T ∇ k ) ( X ) = M + K t − E t + ϒ t μ t + ∑ k = 1 3 ∇ k T ( G k t − Λ k t μ t ) (12)

其中 ∇ k T ( · ) 表示 ∇ k ( · ) 的转置结果运算符。那么我们可以在傅里叶域中，考虑将 ∇ k ( · ) 对应的差分张量 D k 对角化，并利用卷积定理得到式(12)的最优解来更新 X ：

X t + 1 = F − 1 ( F ( M + K t − E t + ϒ t / μ t ) + H 1 + ∑ k = 1 3 F ( D k ) * ⊙ F ( D k ) ) (13)

其中 H = ∑ k = 1 3 F ( D k ) * ⊙ F ( G k t − Λ k t / μ t ) ， 1 为所有元素均为1的张量， ⊙ 是逐元素乘法。

更新 G k t + 1 ：通过增广拉格朗日函数(10)式，可以得到关于 G k 的优化子问题：

G k t + 1 = arg min G k 1 3 ‖ G k ‖ w , ⊛ , L + 〈 Λ k t , ∇ k ( X t + 1 ) − G k 〉 + μ t 2 ‖ ∇ k ( X t + 1 ) − G k ‖ F 2 = arg min G k 1 3 ‖ G k ‖ w , ⊛ , L + μ t 2 ‖ ∇ k ( X t + 1 ) − G k + Λ k t μ t ‖ F 2 (14)

因此，我们可以通过之前定义的t-WSVT阈值算子来更新 G k t + 1 ，即

G k t + 1 = t − W S V T 1 / 3 μ t ( ∇ k ( X t + 1 ) + Λ k t μ t ) (15)

更新 E t + 1 ：通过增广拉格朗日函数(10)式，可以得到关于 E t + 1 的优化子问题：

E t + 1 = arg min E λ ‖ E ‖ 1 + 〈 ϒ t , M + K t − X t + 1 − E 〉 + μ t 2 ‖ M + K t − X t + 1 − E ‖ F 2 = arg min E λ ‖ E ‖ 1 + μ t 2 ‖ M + K t − X t + 1 − E + ϒ t μ t ‖ F 2 (16)

通过使用下面定义的张量软阈值算子，我们可以得到以下阈值收缩等式来更新 E t + 1 ，即

E t + 1 = S λ / μ t ( M + K t − X t + 1 + ϒ t μ t ) (17)

其中 S ζ ( · ) 是关于阈值为 ζ 的张量软阈值算子，满足：

[ S ξ ( X ) ] i j k = sgn ( x i j k ) max ( | x i j k | − ξ , 0 ) (18)

更新 K t + 1 ：

K t + 1 = X t + 1 + E t + 1 − M − ϒ t μ t ,   P Ω ( K t + 1 ) = 0 (19)

更新乘子 Λ k t + 1 和 ϒ t + 1 ：

{ Λ k t + 1 = Λ k t + μ t ( ∇ k ( X t + 1 ) − G k t + 1 ) ϒ t + 1 = ϒ t + μ t ( M + K t + 1 − X t + 1 − E t + 1 ) (20)

我们将上述基于ITCTV的鲁棒张量修补算法总结在算法1中。

在本节中，为了证明所提出的ITCTV方法在图像修复方面的有效性，我们将其应用到彩色图像、HSI以及灰度视频中。我们选择几种流行的鲁棒补全方法与我们的方法进行比较，即SNN [ 14 ] 、TNN [ 4 ] 、TTNN [ 15 ] 、TNTV [ 16 ] 、TCTV [ 9 ] 。至于对比方法的参数设置，我们的设置基于作者的代码或者他们文章中的建议。我们使用峰值信噪比(PSNR)或者峰值信噪比平均值(MPSNR)指标来衡量所有方法的恢复性能。对于实验数据，彩色图像是从Berkeley分割数据集中随机选取了10张图片，HSI选取了广泛使用的Pavia，Pavia university (Pavia U)，KSC，DCMall，Urban以及Moffettfield，灰度视频则是从YUV数据集中挑选了10个。

在本文中，我们通过重加权策略引入了一种改进的张量相关全变分(ITCTV)范数，并将其应用于图像修复。所提出的ITCTV范数不仅同时表征了全局低秩和局部平滑两个先验，减少了两个先验正则化项对应的参数，而且还进一步提高了区分控制梯度张量不同奇异值的灵活性。所提出的方法在不同类型的视觉张量数据上的实验结果证明了该方法在图像修复上的有效性。在未来的工作中，我们将考虑双线性分解对模型算法进行加速，以及将ITCTV正则化器推广至更一般的非线性变换框架。

黄 凯,李忠宁. 融合改进的张量相关全变分的鲁棒张量修补用于图像修复Robust Tensor Completion Fusing Improved Tensor Correlated Total Variation for Image Restoration[J]. 人工智能与机器人研究, 2024, 13(02): 255-264. https://doi.org/10.12677/airr.2024.132027