DOI: 10.12677/aam.2025.141040, PDF, HTML, XML,  被引量   
作者: 郝晓惠, 肖艳阳：河北工业大学理学院，天津
关键词: 分布式优化；多更新单组合；扩展梯度下降法；线性收敛；Distributed Optimization； Multi-Update and Single-Combination； Extended Gradient Descent Method； Linear Convergence

文章引用：郝晓惠, 肖艳阳. 一种扩展的分布式非精确多更新单组合算法[J]. 应用数学进展, 2025, 14(1): 410-422. https://doi.org/10.12677/aam.2025.141040

1. 引言

随着多智能体系统协调技术的快速发展，布式优化在分布式机器学习[1] [2]、传感器网络[3]、多智能体系统[4] [5]、电力系统控制[6]等诸多领域显示出巨大的潜力。考虑一个由n个节点组成的无向连接网络，每个节点都有私有的局部目标函数。分布式优化的全局目标函数是对所有局部目标函数的平均值求最小。分布式优化算法的挑战在于如何通过局部计算和通信使整个系统协同工作以找到全局最优解或近似最优解。局部计算是指每个节点仅根据局部目标函数更新自己的变量，局部通信是指每个节点只与相邻节点交换信息。

许多分布式优化算法已经被开发出来。由于计算成本低、易于实现，分布式梯度型方法已经成为最受欢迎的算法之一。早期的分布式梯度下降(DGD)方法[7] [8]可以使用衰减步长，缓慢地收敛到最优解。当使用固定步长时，DGD可以实现线性收敛，但是只能收敛到最优解的邻域。因此，当不需要高精度时，固定步长的DGD方法是不错的选择。文献[9]-[11]等结合了更多的技术，可以线性收敛到最优解，这些技术包括两次连续迭代的差值[9]、梯度跟踪技术[10]和多步一致性[11]等，但是这些技术会带来更多的计算和通信负担。当前，有一类加速方案是利用前几次迭代的梯度来更新变量，比如乐观梯度下降–上升(OGDA)方法[12]和Hessian采样的惯性梯度算法(IGAHD) [13]通过前两次迭代的梯度差来更新变量。此外，文献[14]中的Anderson加速梯度下降法(AA-PGA)通过使用前几次迭代的梯度的凸组合来更新变量。在文献[15]中，Tang等人采用了改进的分布式Anderson加速法(ELLADA)来减少迭代次数，加速收敛。近期，Zhang等[16]人引入了一种扩展的分布式梯度下降方法，即沿着前两次迭代的梯度和的方向更新变量。对于分布式强凸优化，当步长小于给定上界时，扩展的分布式梯度下降方法可以实现线性收敛性。数值实验也表明，使用扩展梯度的梯度下降方法比传统的梯度下降方法具有更好的搜索方向。在文献[17]中，Wu等人提出了一种非精确的多更新单组合(MUSIC)策略的分布式优化方法并证明了其线性收敛性，然后基于非精确的MUSIC框架，结合局部梯度矫正技术，设计了一种精确的MUSIC加速算法，该方法可以实现快速的精确收敛以及高效通信。多更新的思想来源于集中式局部更新随机梯度下降方法(局部更新SGD) [18]，它允许节点执行多个局部更新，然后定期进行组合。众所周知的联邦平均(FedAvg)算法[19]就是局部更新SGD的衍生物，专门为不平衡的参与设备设计。

受扩展梯度法具有更好的搜索方向的启发，结合多更新单组合策略(MUSIC)，针对无向网络上的分布式优化问题，我们提出了一种扩展的分布式多更新单组合算法(ExtendMUSIC)。具体来说，该方法沿着前两次迭代的梯度和的方向下降，允许每个节点执行多个局部更新，然后定期进行组合。对于光滑强凸函数，我们证明了ExtendMUSIC能够线性收敛到最优解的邻域。最后，数值实验验证了ExtendMUSIC的有效性。

本文剩余部分组织如下：第二章主要介绍了分布式优化问题以及我们所提出的方法。第三章提供了ExtendMUSIC的收敛性分析。第四章进行数值实验验证算法的有性。最后，我们对全文进行总结并提出展望。

本文主要符号如下：为了更好地理解这项工作，在整个论文中，所涉及的矩阵和向量分别用大写字母和小写字母表示，标量用标准字体表示，其中， $x^{\text{T}}$ 表示向量x的转置，算子 $\otimes$ 表示克罗内克积。 $\Vert •\Vert$ 表示向量的欧氏范数和矩阵的谱范数， $\lfloor x\rfloor$ 表示不超过x的最大整数，其在欧几里得空间中的内积用 $\langle •\rangle$ 表示。

2. 问题描述及扩展的先适应再结合分布式梯度下降方法

本章首先介绍分布式优化问题的数学模型，并给出了主要假设。然后，简要回顾了扩展的分布式梯度下降方法和带有多更新单组合策略(MUSIC)的非精确分布式优化算法。最后，提出了扩展的分布式多更新单组合算法。

2.1. 问题描述

我们关注一个由n个节点组成的无向网络，这个网络可以用无向图 $G=\left(V,E\right)$ 来表示，其中V表示节点的集合，E表示边 $\left(i,j\right)$ 的集合，其中 $i,j\in V$ 。如果 $i,j\in E$ ，则i与j之间的信息可以相互传递。定义权重矩阵 $W=\left[w_{ij}\right]\in {ℝ}^{n\times n}$ ，其中 $w_{ij}$ 表示智能体i传递给其邻居j的信息权重。分布式优化问题可以表述为：

$\underset{x\in {ℝ}^N}{\min }f\left(x\right)=\frac{1}{n}{\displaystyle \underset{i=1}{\overset{n}{\sum }}{f}_i}\left(x\right)$ (2.1)

其中 $f_i:{ℝ}^N\to ℝ$ 是一个连续可微函数。接下来，我们给出以下几个基本假设。

假设1：(光滑性)局部目标函数 $f_i$ 是L-光滑的，也就是说，对任意的 $\tilde{x},\tilde{y}\in {ℝ}^N$ ，有

$\Vert \nabla f_i\left(\tilde{x}\right)-\nabla f_i\left(\tilde{y}\right)\Vert \le L\Vert \tilde{x}-\tilde{y}\Vert .$ (2.2)

假设2：(强凸性)局部目标函数 $f_i$ 是 $\mu$ 强凸的，也就是说，对任意的 $\tilde{x},\tilde{y}\in {ℝ}^N$ ，有

$f_i\left(\tilde{y}\right)-f_i\left(\tilde{x}\right)\ge \langle \nabla f_i\left(\tilde{x}\right),\tilde{y}-\tilde{x}\rangle +\frac{\mu }{2}{\Vert \tilde{y}-\tilde{x}\Vert }^2.$ (2.3)

假设1和2中的常数L和 $\mu$ 满足 $0<\mu \le L$ 。假设1和2表明全局目标函数f也是L-光滑和 $\mu$ -强凸的，因此，f有唯一最优解，记为 $x^{*}.$ 本文中设 $f^{*}=f\left(x^{*}\right)$ 。

假设3：权重矩阵W具有下列性质：

• 如果 $\left(i,j\right)\in E$ ，那么 $w_{ij}>0$ 。对任意的 $i\in V$ ， $w_{ii}>0$ 。否则， $w_{ij}=0$ 。

• 权重矩阵W是双随机的，也就是说对任意的 $i,j\in V$ ， ${\displaystyle \underset{i^{\prime }=1}{\overset{n}{\sum }}{w}_{i^{\prime }j}}={\displaystyle \underset{j^{\prime }=1}{\overset{n}{\sum }}{w}_{i{j}^{\prime }}}=1$ 。

记W的第二大奇异值为 $\sigma \in \left(0,1\right)$ ， $\sigma$ 可以用来表示图参数[10]。对任意的 $\omega \in {ℝ}^n$ ， $\Vert W\omega -1\bar{\omega }\Vert \le \sigma \Vert \omega -1\bar{\omega }\Vert$ ，其中 $\bar{\omega }=\frac{1}{n}{1}^{\text{T}}\omega$。

假设4：(梯度有界) 假设 $f_i$ 在 $\tilde{x}\in {ℝ}^N$ 处的梯度是有界的，即对于所有 $i=1,\cdots ,n$ ，有

$0\le G_{\min }\le \nabla f_i\left(x_i^k\right)\le G_{\max }.$

2.2. 扩展的分布式梯度下降方法

具体来说，扩展的非精确MUSIC算法由两个循环迭代组成，即节点内的计算循环和节点之间通信循环。下面，我们将算法过程中的总迭代次数表示为K，每K个局部更新步骤进行一次组合，由于通信只发生在组合步骤中，因此每个节点的通信轮数等于 $\lfloor K/E\rfloor$ ，其中一轮意味着节点i向其相邻节点发送当前估计值 $x_k^i$ ，并接收 $x_k^j$ ，其中 $j\in {\mathcal{N}}_i$ 。设 ${ℐ}_E$ 是组合步骤的集合，即 ${ℐ}_E=\left\{tE|t=0,1,2,\cdots ,\lfloor K/E\rfloor \right\}$ 。因此，存在 $k^0=tE\le k$ ，对于任意 $k>0$ ，满足 $k-k^0\le E$ 。我们可以用下面的迭代来描述扩展的非精确MUSIC算法：

$x_{k+1}^i=\{\begin{array}{ll}{x}_k^i-\eta \left(\nabla f_i\left(x_k^i\right)+\nabla f_i\left(x_{k-1}^i\right)\right),\hfill & k+1\notin {ℐ}_E.\hfill \\ {\displaystyle \underset{j\in {\mathcal{N}}_i}{\sum }{w}_{ij}}\left(x_k^j-\eta \left(\nabla f_j\left(x_k^j\right)+\nabla f_i\left(x_{k-1}^j\right)\right)\right),\hfill & k+1\in {ℐ}_E.\hfill \end{array}$ (2.4)

如果我们引入中间变量 $v_k^i$ ，那么(2.4)可以重写为：

$\begin{array}{l}{v}_{k+1}^i=x_k^i-\eta \left(\nabla f_i\left(x_k^i\right)+\nabla f_i\left(x_{k-1}^i\right)\right),\\ x_{k+1}^i=\{\begin{array}{ll}{v}_{k+1}^i,\hfill & k+1\notin {ℐ}_E.\hfill \\ {\displaystyle \underset{j\in {\mathcal{N}}_i}{\sum }{w}_{ij}}{v}_{k+1}^j,\hfill & k+1\in {ℐ}_E.\hfill \end{array}\end{array}$ (2.5)

这对后续的收敛分析很有用。其中， $v_{k+1}^i$ 是扩展的梯度下降在 $x_k^i$ 处的结果。值得注意的是，当 $E=1$ 时，扩展的非精确MUSIC方法可以被简化为使用扩展梯度的先适应再结合(ATC)方法，即

$x_{k+1}^i={\displaystyle \underset{j\in {\mathcal{N}}_i}{\sum }{w}_{ij}}\left(x_k^i-\eta \left(\nabla f_i\left(x_k^i\right)+\nabla f_i\left(x_{k-1}^i\right)\right)\right).$

3. 收敛性分析

为方便记述，我们引入以下在分析中使用的变量： ${\bar{v}}_k^i={\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{v}_k^j$ ， ${\bar{x}}_k^i={\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{x}_k^j$ 以及 ${\bar{g}}_i^k={\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\nabla f_j\left(x_k^j\right)$ 。

3.1. 关键引理

下面，给出几个关键引理，以建立与网络最优性间隙 ${\Vert {\bar{v}}_k^i-x^{*}\Vert }^2$ 相关的一般动力系统。

首先，求出一步扩展的梯度下降((2.4)中第一个等式)的有界结果，这为后面的应用提供了一个重要的关系式。

引理1：在光滑性和强凸性的假设下，对于一步扩展的梯度下降((2.4)中第一个等式)，如果步长 $\eta$ 满

足 $\eta \le \frac{1}{2L}$ ，有

$\begin{array}{c}{\Vert {\bar{v}}_i^{t+1}-x^{*}\Vert }^2\le \left(1-\mu \eta \right){\Vert {\bar{x}}_k^i-x^{*}\Vert }^2+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_k^j-{\bar{x}}_k^i\Vert }^2+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_{k-1}^j-{\bar{x}}_k^i\Vert }^2\\ +\gamma {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2+\gamma {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_{k-1}^j-{\bar{x}}_k^j\Vert }^2+4\eta \tau ,\end{array}$ (3.1)

其中，对任意节点i， $\gamma =\frac{\eta \left(1-3L\eta \right)}{\pi }$ 以及 $0<\pi <\frac{1}{L}$ ， $f_i\left(x^{*}\right)-f_i^{*}\le \tau$ 。

证明：基于(2.4)中第一个等式以及 ${\bar{v}}_k^i,{\bar{x}}_k^i$ 和 ${\bar{g}}_k^i$ 的定义，有

$\begin{array}{c}{\Vert {\bar{v}}_{k+1}^i-x^{*}\Vert }^2={\Vert {\bar{x}}_k^i-\eta \left({\bar{g}}_k^i+{\bar{g}}_{k-1}^i\right)-x^{*}\Vert }^2\\ ={\Vert {\bar{x}}_k^i-x^{*}\Vert }^2\underset{A_1}{\underset{︸}{-2\eta \langle {\bar{x}}_k^i-x^{*},{\bar{g}}_k^i+{\bar{g}}_k^i\rangle }}+\underset{A_2}{\underset{︸}{{\eta }^2{\Vert {\bar{g}}_k^i+{\bar{g}}_{k-1}^i\Vert }^2}}.\end{array}$ (3.2)

首先求 $A_2$ 的界。

$\begin{array}{c}{A}_2={\eta }^2{\Vert {\bar{g}}_k^i+{\bar{g}}_k^i\Vert }^2\\ \le 2{\eta }^2{\Vert {\bar{g}}_k^i\Vert }^2+2{\eta }^2{\Vert {\bar{g}}_{k-1}^i\Vert }^2\\ =2{\eta }^2{\Vert {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\nabla f_j\left(x_k^j\right)\Vert }^2+2{\eta }^2{\Vert {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\nabla f_j\left(x_{k-1}^j\right)\Vert }^2\\ \le 2{\eta }^2{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert \nabla f_j\left(x_k^j\right)\Vert }^2+2{\eta }^2{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert \nabla f_j\left(x_{k-1}^j\right)\Vert }^2\\ \le 4L{\eta }^2{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_k^j\right)-f_j^{*}\right)+4L{\eta }^2{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_{k-1}^j\right)-f_j^{*}\right),\end{array}$ (3.3)

其中第一个不等式是根据 $\forall a,b\in {ℝ}^N,{\left(a+b\right)}^2\le 2a^2+2b^2$ 这一事实得到，第二个不等式是根据 $f_j$ 的凸性得到的，最后一个不等式基于 $f_j$ 的L-光滑性得到的。

接下来，求出 $A_1$ 的界。

$\begin{array}{c}{A}_1=-2\eta \langle {\bar{x}}_k^i-x^{*},{\bar{g}}_k^i+{\bar{g}}_{k-1}^i\rangle \\ =-2\eta \langle {\bar{x}}_k^i-x^{*},{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{g}_k^j\rangle -2\eta \langle {\bar{x}}_k^i-x^{*},{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{g}_{k-1}^j\rangle \\ =-2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x^{*},g_k^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x^{*},g_{k-1}^j\rangle \\ =-2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_k^j+x_k^j-x^{*},g_k^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_{k-1}^j+x_{k-1}^j-x^{*},g_{k-1}^j\rangle \\ =-2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_k^j,g_k^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle x_k^j-x^{*},g_k^j\rangle \\ -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_{k-1}^j,g_{k-1}^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle x_{k-1}^j-x^{*},g_{k-1}^j\rangle ,\end{array}$ (3.4)

其中在第二个等式中我们用到了 $g_k^j\triangleq \nabla f_j\left(x_k^j\right)$ 。根据 $\mu$ -强凸性，有

$-\langle x_k^j-x^{*},g_k^j\rangle \le -\left(f_j\left(x_k^j\right)-f_j\left(x^{*}\right)\right)-\frac{\mu }{2}{\Vert x_k^j-x^{*}\Vert }^2,$ (3.5)

$-\langle x_{k-1}^j-x^{*},g_{k-1}^j\rangle \le -\left(f_j\left(x_{k-1}^j\right)-f_j\left(x^{*}\right)\right)-\frac{\mu }{2}{\Vert x_{k-1}^j-x^{*}\Vert }^2.$ (3.6)

根据AM-GM不等式，有对任意向量a以及b， $\pm 2\langle a,b\rangle \le \eta {\Vert a\Vert }^2+{\eta }^{-1}{\Vert b\Vert }^2$ 。因此，下式成立，

$-2\langle {\bar{x}}_k^i-x_k^j,g_k^j\rangle \le {\eta }^{-1}{\Vert {\bar{x}}_k^i-x_k^j\Vert }^2+\eta {\Vert g_k^j\Vert }^2,$ (3.7)

$-2\langle {\bar{x}}_k^i-x_{k-1}^j,g_{k-1}^j\rangle \le {\eta }^{-1}{\Vert {\bar{x}}_k^i-x_{k-1}^j\Vert }^2+\eta {\Vert g_{k-1}^j\Vert }^2.$ (3.8)

将(3.5)~(3.8)代入到(3.4)，有

$\begin{array}{c}{A}_1\le -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_k^j,g_k^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle x_k^j-x^{*},g_k^j\rangle \\ -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle {\bar{x}}_k^i-x_{k-1}^j,g_{k-1}^j\rangle -2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\langle x_{k-1}^j-x^{*},g_{k-1}^j\rangle \\ \le {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left({\Vert {\bar{x}}_k^i-x_k^j\Vert }^2+{\eta }^2{\Vert g_k^j\Vert }^2\right)-2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_k^j\right)-f_j\left(x^{*}\right)+\frac{\mu }{2}{\Vert x_k^j-x^{*}\Vert }^2\right)\\ +{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left({\Vert {\bar{x}}_k^i-x_{k-1}^j\Vert }^2+{\eta }^2{\Vert g_{k-1}^j\Vert }^2\right)-2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_{k-1}^j\right)-f_j\left(x^{*}\right)+\frac{\mu }{2}{\Vert x_{k-1}^j-x^{*}\Vert }^2\right).\end{array}$ (3.9)

结合 ${\Vert {\bar{x}}_k^i-x^{*}\Vert }^2={\Vert {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(x_k^j-x^{*}\right)\Vert }^2\le {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_k^j-x^{*}\Vert }^2$ 以及 $A_2$ 的界(3.3)，可以求出 $A_1+A_2$ 的界。

$\begin{array}{c}{A}_1+A_2\le -\mu \eta {\Vert {\bar{x}}_k^i-x^{*}\Vert }^2+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert {\bar{x}}_k^i-x_k^j\Vert }^2\\ +\underset{B_1}{\underset{︸}{2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[3L\eta \left(f_j\left(x_k^j\right)-f_j^{*}\right)-\left(f_j\left(x_k^j\right)-f_j\left(x^{*}\right)\right)\right]}}\\ \le -\mu \eta {\Vert {\bar{x}}_{k-1}^i-x^{*}\Vert }^2+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert {\bar{x}}_k^i-x_{k-1}^j\Vert }^2\\ +\underset{B_2}{\underset{︸}{2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[3L\eta \left(f_j\left(x_{k-1}^j\right)-f_j^{*}\right)-\left(f_j\left(x_{k-1}^j\right)-f_j\left(x^{*}\right)\right)\right]}}.\end{array}$ (3.10)

根据 $\tau$ 的定义，将 $B_1$ 重写为

$\begin{array}{c}{B}_1=2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\left(3L\eta -1\right)\left(f_j\left(x_k^j\right)-f_j^{*}\right)+\left(f_j\left(x^{*}\right)-f_j^{*}\right)\right]\\ \le 2\eta \left(3L\eta -1\right)\underset{C_1}{\underset{︸}{{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_k^j\right)-f_j^{*}\right)}}+2\eta \tau .\end{array}$ (3.11)

下面，求出 $C_1$ 的界，有

$\begin{array}{c}C={\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_k^j\right)-f_j^{*}\right)\\ ={\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\left(f_j\left(x_k^j\right)-f_j\left({\bar{x}}_k^j\right)\right)+\left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)\right]\\ \ge {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\langle \nabla f_j\left({\bar{x}}_k^j\right),x_k^j-{\bar{x}}_k^j\rangle +\left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)\right]\\ \ge -\frac{1}{2}{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\pi {\Vert \nabla f_j\left({\bar{x}}_k^j\right)\Vert }^2+\frac{1}{\pi }{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2\right]+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)\\ \ge -{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[L\pi \left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)+\frac{1}{2\pi }{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2\right]+{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)\\ \ge -{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\left(L\pi -1\right)\left(f_j\left({\bar{x}}_k^j\right)-f_j^{*}\right)+\frac{1}{2\pi }{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2\right],\end{array}$ (3.12)

其中，第一个不等式是基于 $f_j$ 的凸性，第二个不等式是基于下面这一事实得到的，对任意向量 $a,b\in {ℝ}^N$ 以及 $\pi >0$ ，有 $2\langle a,b\rangle \ge -\pi {\Vert a\Vert }^2+{\pi }^{-1}{\Vert b\Vert }^2$ 。在第三个不等式中，使用了 $f_j$ 的L-光滑性。如果 $L\pi -1<0$ (i.e.,

$\pi <\frac{1}{L}$ )成立，那么根据 $f_j\left({\bar{x}}_k^j\right)-f_j^{*}\ge 0$ 这一事实，C可以被进一步限定为：

$C_1\ge -\frac{1}{2\pi }{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2.$ (3.13)

基于 $\eta \le \frac{1}{3L}$ ，将(3.13)代入到(3.11)，有

$B_1\le \gamma {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_k^j-{\bar{x}}_k^j\Vert }^2+2\eta \tau ,$ (3.14)

同理， $B_2$ 可以化简如下

$\begin{array}{c}{B}_2=2\eta {\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left[\left(3L\eta -1\right)\left(f_j\left(x_{k-1}^j\right)-f_j^{*}\right)+\left(f_j\left(x^{*}\right)-f_j^{*}\right)\right]\\ \le 2\eta \left(3L\eta -1\right)\underset{C_2}{\underset{︸}{{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}\left(f_j\left(x_{k-1}^j\right)-f_j^{*}\right)}}+2\eta \tau \end{array}$ (3.15)

其中，

$C_2\ge -\frac{1}{2\pi }{\displaystyle \underset{j=1}{\overset{N}{\sum }}{w}_{ij}}{\Vert x_{k-1}^j-{\bar{x}}_{k-1}^j\Vert }^2.$ (3.16)

将(3.10)以及(3.14)~(3.16)代入(3.2)可以得到(3.1)结果。证毕。

接下来，约束不等式右边的第二项和第三项。

引理2：在有界梯度的假设下，对于扩展的非精确MUSIC方法的 $\Vert x_k^j-{\bar{x}}_k^j\Vert$ ，有

$\Vert x_k^j-{\bar{x}}_k^j\Vert \le 4\eta \left(k-k^0\right)G_{\max }$ (3.17)

其中， $k^0\in {ℐ}_E$ 表示一次组合时间，对任意的k，满足 $0\le k-k^0\le E-1$ 。

证明：首先，在 $k=k^0$ 的情况下，由于 $x_j^{k^0}={\bar{x}}_j^{k^0}$ 。基于组合策略((2.5)中的第二个等式)，不等式(3.17)恒成立。其次，可以将 $\Vert x_k^j-{\bar{x}}_k^j\Vert$ 写为

$\begin{array}{c}\Vert x_k^j-{\bar{x}}_k^j\Vert =�x_k^j-x_{k^0}^j+x_{k^0}^j-{\bar{x}}_k^j�\\ \le \Vert x_k^j-x_{k^0}^j\Vert +\Vert {\bar{x}}_k^j-x_{k^0}^j\Vert .\end{array}$ (3.18)

对于从 $k^0$ 到 $k\le k^0+E-1$ 的内循环迭代，有

$\begin{array}{c}{x}_{k^0+1}^j=x_{k^0}^j-\eta \nabla f_j\left(x_{k^0}^j\right)-\eta \nabla f_j\left(x_{k^0-1}^j\right),\\ x_{k^0+2}^j=x_{k^0+1}^j-\eta \nabla f_j\left(x_{k^0+1}^j\right)-\eta \nabla f_j\left(x_{k^0}^j\right),\\ ⋮\\ x_k^j=x_{k-1}^j-\eta \nabla f_j\left(x_{k-1}^j\right)-\eta \nabla f_j\left(x_{k-2}^j\right).\end{array}$ (3.19)

对(3.19)求和得出

$x_k^j-x_{k^0}^j=-\eta {\displaystyle \underset{s=k^0}{\overset{k}{\sum }}\nabla }{f}_j\left(x_s^j\right)-\eta {\displaystyle \underset{s=k^0-1}{\overset{k-1}{\sum }}\nabla }{f}_j\left(x_s^j\right).$ (3.20)

根据梯度有界假设，我们可以得出

$\begin{array}{c}\Vert x_k^j-x_{k^0}^j\Vert =\Vert \eta {\displaystyle \underset{s=k^0}{\overset{k}{\sum }}\nabla }{f}_j(x_s^j)+\eta {\displaystyle \underset{s=k^0-1}{\overset{k-1}{\sum }}\nabla }{f}_j(x_s^j)\Vert \\ \le \Vert \eta {\displaystyle \underset{s=k^0}{\overset{k}{\sum }}\nabla }{f}_j\left(x_s^j\right)\Vert +\Vert \eta {\displaystyle \underset{s=k^0-1}{\overset{k-1}{\sum }}\nabla }{f}_j\left(x_s^j\right)\Vert \\ \le 2\eta \left(k-k^0\right)G_{\max }.\end{array}$ (3.21)

通过对(3.19)进行加权求和，可以得到

$\begin{array}{c}{\bar{x}}_{k^0+1}^j={\bar{x}}_{k^0}^j-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k^0}^l\right)-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k^0-1}^l\right),\\ {\bar{x}}_{k^0+2}^j={\bar{x}}_{k^0+1}^j-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k^0+1}^l\right)-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k^0}^l\right),\\ ⋮\\ {\bar{x}}_k^j={\bar{x}}_j^{k-1}-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k-1}^l\right)-\eta {\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}\nabla f_l\left(x_{k-2}^l\right).\end{array}$ (3.22)

用同样的求和以及二次正则的方法，我们同样可以得到

$\begin{array}{c}\Vert {\bar{x}}_k^j-{\bar{x}}_{k^0}^j\Vert =\Vert \eta {\displaystyle \underset{s=k^0}{\overset{k}{\sum }}{\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}}\nabla f_l\left(x_s^l\right)+\eta {\displaystyle \underset{s=k^0-1}{\overset{k-1}{\sum }}{\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}}\nabla f_l\left(x_s^l\right)\Vert \\ \le \eta {\displaystyle \underset{s=k^0}{\overset{k}{\sum }}{\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}}\Vert \nabla f_l\left(x_s^l\right)\Vert +\eta {\displaystyle \underset{s=k^0-1}{\overset{k-1}{\sum }}{\displaystyle \underset{l=1}{\overset{N}{\sum }}{w}_{jl}}}\Vert \nabla f_l\left(x_s^l\right)\Vert \\ \le 2\eta \left(k-k^0\right)G_{\max }.\end{array}$ (3.23)

由于 ${\bar{x}}_{k^0}^j=x_{k^0}^j$ ，将(3.23)重写为

$\Vert {\bar{x}}_k^j-x_{k^0}^j\Vert \le 2\eta \left(k-k^0\right)G_{\max }$ (3.24)

把(3.21)和(3.24)代入(3.18)，证明完成。

在确定 $\Vert x_j^k-{\bar{x}}_i^k\Vert$ 的界之前，我们还要引入一个有界的假设。

假设5：对于扩展的非精确MUSIC (2.5)中的任意迭代 $k^0\in {ℐ}_E$ ，任意两个代理i和j之间的偏差都是有界的，即 $\Vert x_{k^0}^j-x_{k^0}^i\Vert \le \epsilon$ ，其中 $\epsilon$ 是一个很小的非负常数。

先前的许多研究都清楚地表明，由组合(共识)步骤((2.5)中的第二个等式)生成的所有迭代点的估计值之间的差值几乎肯定为零，也就是说：当网络连通性，双随机权重 $w_{ij}$ 和有界梯度假设成立时，

$\underset{k\to \infty }{\lim }\Vert x_k^j-x_k^i\Vert =0$ 的概率为1。因此，有限的 $\Vert x_j^{t^0}-x_i^{t^0}\Vert$ 是一个合理的假设。从而，我们可以得到下面的引理。

引理3：在有界假设条件下，对于扩展的非精确MUSIC算法(2.5)，对任意 $k^0\in {ℐ}_E$ 以及 $0\le k-k^0\le E-1$ ， $\Vert x_k^j-{\bar{x}}_k^i\Vert$ 是有界的，可以表述为下式：

$\Vert x_k^j-{\bar{x}}_k^i\Vert \le 8\eta \left(k-k^0\right)G_{\max }+\epsilon ,$ (3.25)

$\Vert x_{k-1}^j-{\bar{x}}_k^i\Vert \le 8\eta \left(k-k^0\right)G_{\max }+\epsilon .$ (3.26)

证明：注意到，对于网络上的任意两个代理i和j，

$\begin{array}{c}\Vert x_k^j-{\bar{x}}_k^i\Vert =\Vert x_k^j-{\bar{x}}_k^j+{\bar{x}}_k^j-{\bar{x}}_k^i\Vert \\ \le \Vert x_k^j-{\bar{x}}_k^j\Vert +\Vert {\bar{x}}_k^j-{\bar{x}}_k^i\Vert .\end{array}$ (3.27)

对于(3.27)右边的第二项，有

$\begin{array}{c}\Vert {\bar{x}}_k^j-{\bar{x}}_k^i\Vert =\Vert \left({\bar{x}}_k^j-x_{k^0}^j\right)+\left(x_{k^0}^i-{\bar{x}}_k^i\right)+\left(x_{k^0}^j-x_{k^0}^i\right)\Vert \\ \le \Vert {\bar{x}}_k^j-x_{k^0}^j\Vert +\Vert x_{k^0}^i-{\bar{x}}_k^i\Vert +\Vert x_{k^0}^j-x_{k^0}^i\Vert \\ \le 4\eta \left(k-k^0\right)G_{\max }+\epsilon ,\end{array}$ (3.28)

其中我们使用了不等式(3.24)和有界假设。将(3.17)和(3.28)代入(3.27)即可得到，

$\Vert x_k^j-{\bar{x}}_k^i\Vert \le 8\eta \left(k-k^0\right)G_{\max }+\epsilon .$

下面，求出 $\Vert {\bar{x}}_{k-1}^j-{\bar{x}}_k^i\Vert$ 的界。

$\begin{array}{c}\Vert {\bar{x}}_{k-1}^j-{\bar{x}}_k^i\Vert \le \Vert x_{k-1}^j-{\bar{x}}_{k-1}^j\Vert +\Vert {\bar{x}}_{k-1}^j-{\bar{x}}_k^i\Vert \\ \le 4\eta \left(k-k^0\right)G_{\max }+\Vert {\bar{x}}_{k-1}^j-x_{k^0}^j\Vert +\Vert x_{k^0}^j-{\bar{x}}_k^i\Vert +\Vert x_{k^0}^j-x_{k^0}^i\Vert \\ \le 8\eta \left(k-k^0\right)G_{\max }+\epsilon ,\end{array}$ (3.29)

证毕。

3.2. 收敛性结果

最后，可以得到扩展的不精确MUSIC的收敛结果如下。

定理1：当假设1~5均成立且步长满足 $\eta \le \frac{1}{3L}$ 时，扩展的非精确MUSIC方法(2.5)在均方意义上线性收敛到最优解的邻域，即对任意的 $t=1,2,\cdots ,\lfloor K/E\rfloor$ ，有

${\Vert {\bar{x}}_{tE}^i-x^{*}\Vert }^2\le {\left(1-\mu \eta \right)}^{tE}{\Vert {\bar{x}}_0^i-x^{*}\Vert }^2+D_1,$ (3.30)

其中

$D_1=\frac{1-{\left(1-\mu \eta \right)}^{kE}}{1-{\left(1-\mu \eta \right)}^E}{\displaystyle \underset{s=0}{\overset{E-1}{\sum }}{\xi }^{E-1-s}}{\left(1-\mu \eta \right)}^s\stackrel{k\to \infty }{\to }\mathcal{O}\left(\frac{{\left(E-1\right)}^2\left(128+32\gamma \right){\eta }^2{G}_{\max }^2+4\eta \tau }{\mu \eta }\right),$ (3.31)

以及 ${\xi }^s=4\gamma {\eta }^2{s}^2{G}_{\max }^2+{\left[4\eta s{G}_{\max }+\epsilon \right]}^2+2\eta \tau$ 。

证明：众所周知，不管是 $k\in {ℐ}_E$ 还是 $k\notin {ℐ}_E$ ， ${\bar{x}}_k^i={\bar{v}}_k^i$ 总是成立的。因此，结合引理1~3，我们有

${\Vert {\bar{x}}_{k+1}^i-x^{*}\Vert }^2\le \left(1-\mu \eta \right){\Vert {\bar{x}}_k^i-x^{*}\Vert }^2+{\xi }^{k-k^0}.$ (3.32)

为方便起见，定义 ${\Delta }^k={\Vert {\bar{x}}_k^i-x^{*}\Vert }^2$ ，还可以将(3.32)写成

${\Delta }^{k+1}\le \left(1-\mu \eta \right){\Delta }^k+{\xi }^{k-k^0}.$ (3.33)

从 $k^0+1$ 到 $k^0+E$ 通过递归应用(3.33)，有

${\Delta }^{k^0+E}\le {\left(1-\mu \eta \right)}^E{\Delta }^{k^0}+{\displaystyle \underset{s=0}{\overset{E-1}{\sum }}{\xi }^{E-1-s}}{\left(1-\mu \eta \right)}^s,$ (3.34)

或者

${\Vert {\bar{x}}_{tE}^i-x^{*}\Vert }^2\le {\left(1-\mu \eta \right)}^E{\Vert {\bar{x}}_{\left(t-1\right)E}^i-x^{*}\Vert }^2+D_2,$ (3.35)

其中 $D_2={\displaystyle \underset{s=0}{\overset{E-1}{\sum }}{\xi }^{E-1-s}}{\left(1-\mu \eta \right)}^s$ ， $t=1,2,\cdots ,\lfloor K/E\rfloor$ 。通过递归使用(3.35) t次，我们得到

${\Vert {\bar{x}}_{tE}^i-x^{*}\Vert }^2\le {\left(1-\mu \eta \right)}^{tE}{\Vert {\bar{x}}_0^i-x^{*}\Vert }^2+D_1,$ (3.36)

其中

$D_1=\frac{D_2\left(1-{\left(1-\mu \eta \right)}^{tE}\right)}{1-{\left(1-\mu \eta \right)}^E}.$ (3.37)

当 $t\to \infty$ 时，我们可以得出结论：在标准共识策略下，局部估计值之间渐近地达成了共识(即 $\underset{t\to \infty }{\lim }\epsilon =0$ )。此外，为了简化计算，我们还在(3.33)中使用了 ${\xi }^{k-k^0}={\xi }^{E-1}$ ，从而得到

$\underset{t\to \infty }{\lim \sup }{\xi }^{E-1}={\left(E-1\right)}^2\left(128+32\gamma \right){\eta }^2{G}_{\max }^2+4\eta \tau ,$ (3.38)

$\underset{k\to \infty }{\lim \sup }{D}_2=\frac{1-{\left(1-\mu \eta \right)}^E}{\mu \eta }\underset{k\to \infty }{\lim \sup }{\xi }^{E-1}.$ (3.39)

以及

$\underset{k\to \infty }{\lim \sup }{D}_1=\frac{{\left(E-1\right)}^2\left(128+32\gamma \right)\eta G_{\max }^2+4\tau }{\mu },$ (3.40)

证毕。

定理1表明，扩展的非精确MUSIC方法以 $\mathcal{O}\left({\left(1-\mu \eta \right)}^{kE}\right)$ 的速率线性收敛，收敛速度分别随E和 $\eta$ 的增大单调递增和单调递减，直到达到误差邻域，且误差邻域大小为

$\mathcal{O}\left(\underset{局部漂移}{\underset{︸}{\frac{{\left(E-1\right)}^2\left(128+32\gamma \right)\eta G_{\max }^2}{\mu }}}+\underset{不精确偏差}{\underset{︸}{\frac{4\tau }{\mu }}}\right).$ (3.41)

当 $E=1$ 时，扩展的非精确MUSIC会退化为使用扩展梯度的ATC版本，收敛速率为 $\mathcal{O}\left({\left(1-\mu \eta \right)}^t\right)$ ，渐近误差大小为 $\mathcal{O}\left(\frac{4\tau }{\mu }\right)$ 。

注：( $\eta$ 和E的选择) 一方面，根据定理1，局部更新的频率E没有限制，这意味着E可以取一个大的值来加速收敛。另一方面，过大的E值会显著扩大误差邻域的大小。因此，参数E在平衡收敛速度和精度之间的权衡方面起着类似于步长 $\eta$ 的作用。因此，通过选择一个略大于1的E(例如2，3，4)和较小的步长，就可以实现收敛速度和精度的双赢。这有效地解决了传统优化技术(例如DGD方法)长期存在的挑战。

4. 数值实验

在本节中，我们通过解决二进制的逻辑回归学习分类问题来测试扩展的非精确MUSIC的性能。每个节点有一个如下局部目标函数

$f_i\left(x\right)=\frac{1}{m}{\displaystyle \underset{j=1}{\overset{m}{\sum }}\ln }\left(1+\exp \left(-{\gamma }_{i,j}{h}_{i,j}^{\text{T}}x\right)\right)+\frac{\mu }{2}{\Vert x\Vert }^2.$ (3.42)

其中 $\left\{h_{i,j}\in {ℝ}^N\right\}$ 为特征向量， ${\gamma }_{i,j}\in \left\{-1,1\right\}$ 为对应的标签。利用“letter”数据集和平均度为4的Erdos-Renyi模型来生成连接网络，使用第二个和第四个标签将“letter”数据子集划分为 $n=50$ 个节点，其中每个节点接收 $m=30$ 个维度为 $N=16$ 的训练样本。在这个问题中，由于最优解 $x^{*}$ 是未知的，我们用一个非常小的步长运行集中式梯度下降迭代2 × 10⁵次近似求出 $x^{*}$ 。

从图1中可以看出，当迭代过程中步长固定( $\eta =0.4$ )时，参数E的作用与步长 $\eta$ 类似，即E或 $\eta$ 越大(越小)收敛速度越快(越慢)，精度越低(越高)。这样验证了ExtendMUSIC框架可以在速度和精度之间实现平衡，例如，既可以实现快速的速度，又可以实现良好的精度。

Figure 1. Effect of step size and E on the performance of the algorithm ExtendMUSIC. (a) The effect of different E on algorithm performance with a constant step size; (b) The effect of different step sizes on algorithm performance with a fixed E

图1. 步长和E对算法ExtendMUSIC的性能影响。(a) 固定步长下，不同的E对算法性能的影响；(b) 固定E下，不同的步长对算法性能的影响

从图2中可以看出，在相同步长下( $\eta =0.2$ )，使用扩展梯度的ExtendMUSIC方法比不使用扩展梯度的MUSIC方法可以更快找到非精确解，同理，ATC方法也是。此外，在相同步长下( $\eta =0.2$ )，基于多更新单组合策略的方法比不使用多更新单组合策略的方法可以实现更快收敛。

Figure 2. The performance comparison of different methods with the same step size

图2. 相同步长下，不同方法的性能比较

5. 总结与展望

本文首先介绍了一种基于多更新单组合策略的分布式扩展梯度方法ExtendMUSIC。然后，建立了该方法的线性收敛性。最后，通过数值算例验证了该方法的收敛性以及不同的组合次数E对算法的影响，并与现有的经典梯度方法进行了比较。在未来，这项工作中使用的加速技术可以应用于更多的优化问题。

参考文献

[1]	Nedic, A. (2020) Distributed Gradient Methods for Convex Machine Learning Problems in Networks: Distributed Optimization. IEEE Signal Processing Magazine, 37, 92-101. https://doi.org/10.1109/msp.2020.2975210
[2]	Duan, Y. and Wu, J. (2023) Accelerating Distributed Machine Learning with Model Compression and Graph Partition. Journal of Parallel and Distributed Computing, 179, Article 104705. https://doi.org/10.1016/j.jpdc.2023.04.006
[3]	Yan, J., Jiao, H., Pu, W., Shi, C., Dai, J. and Liu, H. (2022) Radar Sensor Network Resource Allocation for Fused Target Tracking: A Brief Review. Information Fusion, 86, 104-115. https://doi.org/10.1016/j.inffus.2022.06.009
[4]	Guo, S., Zhao, X., Wang, H. and Xu, N. (2023) Distributed Consensus of Heterogeneous Switched Nonlinear Multiagent Systems with Input Quantization and Dos Attacks. Applied Mathematics and Computation, 456, Article 128127. https://doi.org/10.1016/j.amc.2023.128127
[5]	Li, Y., He, X. and Xia, D. (2022) Distributed Fixed-Time Optimization for Multi-Agent Systems with Time-Varying Objective Function. International Journal of Robust and Nonlinear Control, 32, 6523-6538. https://doi.org/10.1002/rnc.6157
[6]	Mbungu, N.T., Ismail, A.A., AlShabi, M., Bansal, R.C., Elnady, A. and Hamid, A.K. (2023) Control and Estimation Techniques Applied to Smart Microgrids: A Review. Renewable and Sustainable Energy Reviews, 179, Article 113251. https://doi.org/10.1016/j.rser.2023.113251
[7]	Nedic, A. and Ozdaglar, A. (2009) Distributed Subgradient Methods for Multi-Agent Optimization. IEEE Transactions on Automatic Control, 54, 48-61. https://doi.org/10.1109/tac.2008.2009515
[8]	Yuan, K., Ling, Q. and Yin, W. (2016) On the Convergence of Decentralized Gradient Descent. SIAM Journal on Optimization, 26, 1835-1854. https://doi.org/10.1137/130943170
[9]	Shi, W., Ling, Q., Wu, G. and Yin, W. (2015) EXTRA: An Exact First-Order Algorithm for Decentralized Consensus Optimization. SIAM Journal on Optimization, 25, 944-966. https://doi.org/10.1137/14096668x
[10]	Qu, G. and Li, N. (2018) Harnessing Smoothness to Accelerate Distributed Optimization. IEEE Transactions on Control of Network Systems, 5, 1245-1260. https://doi.org/10.1109/tcns.2017.2698261
[11]	Gao, J., Liu, X., Dai, Y., Huang, Y. and Yang, P. (2021) Achieving Geometric Convergence for Distributed Optimization with Barzilai-Borwein Step Sizes. Science China Information Sciences, 65, Article No. 149204. https://doi.org/10.1007/s11432-020-3256-x
[12]	Popov, L.D. (1980) A Modification of the Arrow-Hurwicz Method for Search of Saddle Points. Mathematical Notes of the Academy of Sciences of the USSR, 28, 845-848. https://doi.org/10.1007/bf01141092
[13]	Attouch, H., Chbani, Z., Fadili, J. and Riahi, H. (2020) First-Order Optimization Algorithms via Inertial Systems with Hessian Driven Damping. Mathematical Programming, 193, 113-155. https://doi.org/10.1007/s10107-020-01591-1
[14]	Mai, V. and Johansson, M. (2020) Anderson Acceleration of Proximal Gradient Methods. In International Conference on Machine Learning, Online, 13-18 July 2020, 6620-6629.
[15]	Tang, W. and Daoutidis, P. (2021) Fast and Stable Nonconvex Constrained Distributed Optimization: The ELLADA Algorithm. Optimization and Engineering, 23, 259-301. https://doi.org/10.1007/s11081-020-09585-w
[16]	Zhang, X., Liu, S. and Zhao, N. (2023) An Extended Gradient Method for Smooth and Strongly Convex Functions. Mathematics, 11, Article 4771. https://doi.org/10.3390/math11234771
[17]	Wu, M., Liao, H., Ding, Z. and Xiao, Y. (2024) MUSIC: Accelerated Convergence for Distributed Optimization with Inexact and Exact Methods. IEEE Transactions on Neural Networks and Learning Systems, 1-15. https://doi.org/10.1109/tnnls.2024.3376421
[18]	Mangasarian, L.O. (1995) Parallel Gradient Distribution in Unconstrained Optimization. SIAM Journal on Control and Optimization, 33, 1916-1925. https://doi.org/10.1137/s0363012993250220
[19]	Kairouz, P., McMahan, H.B., Avent, B., Bellet, A., Bennis, M., Nitin Bhagoji, A., et al. (2021) Advances and Open Problems in Federated Learning. Now Publishers. https://doi.org/10.1561/9781680837896