CSA Computer Science and Application 2161-8801 Scientific Research Publishing 10.12677/CSA.2022.129224 CSA-56376 CSA20220900000_67227838.pdf 信息通讯 基于交替式超边神经元算法的阿尔茨海默症多模态脑网络融合 A Multimodal Brain Network Fusing Based on Interleaved Hyperedge Neurons Algorithm for Alzheimer’s Disease 潘 俊任 2 1 荆 常宏 2 1 中国科学院深圳先进技术研究院，广东 深圳 null 06 09 2022 12 09 2203 2216 © Copyright 2014 by authors and Scientific Research Publishing Inc. 2014 This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/

阿尔茨海默症(Alzheimer’s Disease, AD)是一种常见于中老年人的神经退行性疾病，其病理机制至今尚未明确。通过多模态脑影像来表征脑网络在阿尔茨海默症研究中已显示出巨大的潜力和前景。然而，由于多模态数据之间的异质性，现有大多数融合算法都不能有效利用不同模态数据之间的功能–结构互补信息。为解决上述问题，本文基于超图理论和生成对抗策略，提出了交替式超边神经元算法和最优超图同态算法的多模态脑网络计算方法。具体来说，首先将功能磁共振(fMRI)和弥散张量成像(DTI)利用最优超图同态算法进行超图数据构建，再利用交替式超边神经元算法对fMRI和DTI数据的功能–结构互补特征进行深度融合，最终学习得到疾病相关的多模态脑网络。该模型的优势在于能够最大限度地挖掘疾病相关互补信息，进行多层级交替式深度融合。实验结果表明，该模型不仅能提高阿尔茨海默症早期识别性能，而且能有效检测与阿尔茨海默症相关的异常脑连接作为疾病标志物，为病理机制溯源提供基础。 Alzheimer’s disease is a neurodegenerative disease commonly occurring in aged people, and its pathological mechanism has not been revealed. Characterizing brain networks through multi-modal brain imaging has shown great potential and promise in Alzheimer’s disease research. However, due to the heterogeneity among multimodal data, most existing multimodal fusion methods cannot effectively utilize the functional-structural complementary information between different modal data. In order to solve the above problems, based on the hypergraph theory and generative adversarial strategy, this paper proposes a multimodal brain network computing method based on the interleaved hyperedge neurons algorithm and the optimal hypergraph homomorphism algorithm. Specifically, hypergraph data is constructed from functional magnetic resonance imaging (fMRI) and diffusion tensor imaging (DTI) by using the optimal hypergraph homomorphism algorithm. Then use the interleaved hyperedge neurons algorithm to deeply fuse the functional-structural complementary information between fMRI and DTI. Finally, use this fused information to compute a multimodal brain network. The advantage of the proposed model is that it can efficiently integrate the functional and structural information provided by fMRI and DTI to extract disease-related complementary information. The experimental results show that the model can not only improve the early recognition performance of Alzheimer’s disease but also effectively detect abnormal brain connections related to Alzheimer’s disease as disease markers, providing a foundation for under-standing the pathological mechanism.

生成对抗策略，超图，多模态融合，脑网络计算, Generative Adversarial Strategy Hypergraph Multimodal Fusion Brain Network Computing 摘要

阿尔茨海默症(Alzheimer’s Disease, AD)是一种常见于中老年人的神经退行性疾病，其病理机制至今尚未明确。通过多模态脑影像来表征脑网络在阿尔茨海默症研究中已显示出巨大的潜力和前景。然而，由于多模态数据之间的异质性，现有大多数融合算法都不能有效利用不同模态数据之间的功能–结构互补信息。为解决上述问题，本文基于超图理论和生成对抗策略，提出了交替式超边神经元算法和最优超图同态算法的多模态脑网络计算方法。具体来说，首先将功能磁共振(fMRI)和弥散张量成像(DTI)利用最优超图同态算法进行超图数据构建，再利用交替式超边神经元算法对fMRI和DTI数据的功能–结构互补特征进行深度融合，最终学习得到疾病相关的多模态脑网络。该模型的优势在于能够最大限度地挖掘疾病相关互补信息，进行多层级交替式深度融合。实验结果表明，该模型不仅能提高阿尔茨海默症早期识别性能，而且能有效检测与阿尔茨海默症相关的异常脑连接作为疾病标志物，为病理机制溯源提供基础。

 关键词

生成对抗策略，超图，多模态融合，脑网络计算

 A Multimodal Brain Network Fusing Based on Interleaved Hyperedge Neurons Algorithm for Alzheimer’s Disease<sup> </sup>

Junren Pan*, Changhong Jing

Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen Guangdong

Received: Aug. 21st, 2022; accepted: Sep. 21st, 2022; published: Sep. 28th, 2022

 ABSTRACT

Alzheimer’s disease is a neurodegenerative disease commonly occurring in aged people, and its pathological mechanism has not been revealed. Characterizing brain networks through multi-modal brain imaging has shown great potential and promise in Alzheimer’s disease research. However, due to the heterogeneity among multimodal data, most existing multimodal fusion methods cannot effectively utilize the functional-structural complementary information between different modal data. In order to solve the above problems, based on the hypergraph theory and generative adversarial strategy, this paper proposes a multimodal brain network computing method based on the interleaved hyperedge neurons algorithm and the optimal hypergraph homomorphism algorithm. Specifically, hypergraph data is constructed from functional magnetic resonance imaging (fMRI) and diffusion tensor imaging (DTI) by using the optimal hypergraph homomorphism algorithm. Then use the interleaved hyperedge neurons algorithm to deeply fuse the functional-structural complementary information between fMRI and DTI. Finally, use this fused information to compute a multimodal brain network. The advantage of the proposed model is that it can efficiently integrate the functional and structural information provided by fMRI and DTI to extract disease-related complementary information. The experimental results show that the model can not only improve the early recognition performance of Alzheimer’s disease but also effectively detect abnormal brain connections related to Alzheimer’s disease as disease markers, providing a foundation for understanding the pathological mechanism.

Keywords:Generative Adversarial Strategy, Hypergraph, Multimodal Fusion, Brain Network Computing

Copyright © 2022 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

 1. 引言

阿尔茨海默病(Alzheimer’s Disease, AD)，俗称老年痴呆，其临床症状表现记忆力衰退，视听觉功能损害，逐渐变得生活不能自理，重度阶段患者出现昏迷且伴有多种并发症。美国国家卫生研究院(National Institutes of Health) [ 1 ] 将阿尔茨海默症评估为第三大老年人致死疾病，仅次于癌症和心脏病。据阿尔茨海默协会(Alzheimer Association) [ 2 ] 统计，2020年全球约有5500万人罹患阿尔茨海默症，预计到2030年患病人数将达到8200万，而2050年预计将攀升至1亿5200万人。阿尔茨海默症的广泛发生给患者家庭和政府带来了沉重的经济负担。然而，阿尔茨海默症的病理机制仍未完全揭示，其主要原因在于人脑是一个由脑区和神经元构成的高度复杂的系统，认知的完成需要多个脑区之间协调配合(即神经环路) [ 3 ]。另一方面，临床脑科学研究也受到人类伦理的限制。这些原因造成了阿尔茨海默症病理机制的研究进展缓慢。

过去十年中，随着计算机和人工智能的发展，机器学习、网络分析 [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] 等技术在许多领域获得了广泛的应用。医学图像分析逐渐走向智能化 [ 9 ] - [ 14 ]，越来越多的机器学习方法开始介入阿尔茨海默症的研究 [ 15 ] [ 16 ] [ 17 ]，基于图像形态学的机器学习方法 [ 18 ] [ 19 ] [ 20 ] [ 21 ] [ 22 ] 已经在阿尔茨海默症智能辅助诊疗相关的一些基本任务中取得了巨大成功，例如阿尔茨海默症早期检测。但是这些方法只关注了脑区是否萎缩等形态学变化，无法刻画脑区之间的相互作用关系，因此仍然难以帮助人们彻底理解阿尔茨海默症的发病机制。为了脑区之间的连接关系表征阿尔茨海默症相关特征，脑网络方法应运而生。

脑网络 [ 23 ] [ 24 ] 将脑区以及脑区之间的连接关系映射到一个图数据。图的节点代表大脑的各个脑区，图的边代表脑区之间的连接。脑网络可以分为两种基本类型：功能连接和结构连接。功能连接被定义为两个脑区的血氧水平依赖性信号之间的关联性强弱，其中血氧水平依赖性信号通常可以从功能磁共振(fMRI)中提取。结构连接被定义为两个脑区之间的神经纤维连接强度，通常可从弥散张量成像(DTI)中提取。研究表明 [ 25 ] 使用功能连接或结构连接能够获得一些传统图像学方法无法发现的阿尔茨海默症相关特征。这证明了脑网络方法在阿尔茨海默症的研究中更具优势。然而，现有的大多数脑网络研究都是基于单模态的，只关注结构连接和功能连接中的一种。当前研究者们开始注意到单模态数据可能只包含部分的疾病相关信息，这意味着仅用使用单模态数据会失去利用跨模态互补信息来更加准确且全方位地对阿尔茨海默症进行研究的机会。因此，多模态大脑网络计算在医学图像智能计算领域已受到越来越多的关注。多模态脑网络的结构信息–功能信息深度融合的关键在于如何有效利用跨模态互补信息 [ 26 ]。现有大多数的多模态脑网络计算方法利用加权求和、仿射变换、特征拼接等方式进行特征融合。然而，由于fMRI和DTI数据之间的强异质性，二者的特征向量最初位于不同子空间中且关联特征是非线性的 [ 27 ]，因此现有大多数多模态脑网络计算方法并不能充分利用fMRI和DTI数据之间的互补信息。

为了解决上述问题，同时更加有效地利用脑网络中的高阶拓扑信息，已有研究者开始利用超图来表征脑网络 [ 28 ]。超图是图数据的推广，超图和图数据的最大区别在于超图中的每条超边可以包含多个节点，以此刻画高阶拓扑特征。超图的这一特点使得其在神经环路的高阶互补特征融合上具有其他数据形式所无法比拟的优势。另一方面，生成对抗策略 [ 29 ] - [ 35 ] 已成功用于医学图像分析的许多分支。生成对抗策略可以在无监督的情形下学习到未知复杂分布，基于这一特点，使得我们的融合算法中不需要加入额外的先验假设，从而更灵活高效的进行异质数据深度融合。在本项工作中，我们提出了交替式超边神经元算法来对fMRI和DTI进行深度特征融合，并且设计了最优超图同态算法增强超图建模的稳定性和鲁棒性。在生成对抗策略方面，我们设计了基于图随机游走的判别器来约束模型学习得到的多模态脑网络分布。与传统的多模态融合算法相比，我们提出的基于超图理论和生成对抗策略的fMRI、DTI融合算法的优势在于能够更加准确地利用疾病相关的互补信息以及脑网络高阶拓扑特征，为阿尔茨海默症相关生物标志物的精准识别奠定基础。

 2. 相关工作 2.1. 超图算法

利用超图对脑网络进行研究，针对单模态脑网络的超图相关算法主要集中在超边表征学习的高阶疾病生物标志物检测以及功能连接计算方面。高跃等人 [ 36 ] 采用超边表征学习对自闭症患者的功能脑网络进行研究，得到了关于自闭症相关的生物标志物，并证明该结果和自闭症临床研究结果高度一致。刘明霞等人 [ 37 ] 采用超图对齐学习对阿尔茨海默症的早期诊断进行了研究，实验结果证明基于超图的方法相比于其他方法在分类性能上有明显优势。针对多模态数据以及多模态脑网络融合问题，邵伟 [ 38 ] 等人采用超图建模对多模态数据的阿尔茨海默症多标签信息进行学习，模型性能相比于传统多模态融合算法有所提升。Aviles-Rivero [ 39 ] 等人利用扩散学习研究了多模态数据的超图融合。

 2.2. 生成对抗策略

生成对抗策略可以看作是一种基于变分推断 [ 40 ] [ 41 ] [ 42 ] [ 43 ] 的对抗式学习方法。生成对抗网络(Generative Adversarial Networks, GAN)是近年发展起来并引起广泛关注的深度学习模型，因其无需先验假设就能够高效学习复杂未知分布的能力，使得生成对抗网络已经成医学图像领域的研究热点之一。陈卓 [ 44 ] 等人利用一致感知型生成对抗网络实现了脑卒中病变区域的自动分割。胡圣烨等人 [ 45 ] 基于生成对抗网络实现了MRI数据到PET数据的跨模态生成，解决了阿尔茨海默症研究中PET数据难以获得的问题。冀俊忠等人 [ 46 ] 利用基于循环神经网络的生成对抗策略实现了阿尔茨海默症脑网络有效连接的精准计算。

 3. 数据与方法 3.1. 数据

本项工作中使用的数据集是Alzheimer’s Disease Neuroimaging Initiative (ADNI)，我们从该数据集中挑选了健康对照组(NC)，轻度认知障碍(EMCI)，重度认知障碍(LMCI)，阿尔茨海默症(AD)四种疾病类别共计268个被试的数据，其中每个被试都包含fMRI数据和DTI数据，其数据描述和分布如表1所示：

Experiment dat
类别 被试平均年龄 被试数量
NC 74 84
EMCI 75 80
LMCI 75 41
AD 76 63

表1. 实验数据

对于fMRI数据，采用解剖自动标记模板(Anatomical Automatic Labeling, AAL90)和DPARSF工具包 [ 47 ] 进行预处理，处理步骤包括丢弃前20个时间序列片段、头部运动校正、手动位置校正、带通滤波和高斯平滑，最终提取得到90个脑区长度为180的血氧水平依赖性信号。采用GRETNA工具包 [ 48 ] 从血氧水平依赖性信号中计算得到脑网络功能连接。对于DTI数据，采用解剖自动标记模板和PANDA工具包 [ 49 ] 进行预处理，处理步骤包括脑掩模估计、涡流效应校正、脑区之间的白质纤维束追踪估计。

 3.2. 方法

所提出的模型属于生成对抗学习，包含一个基于交替式超边神经元算法的生成器，以及一个基于图随机游走的判别器，模型结构总图如图1所示：

3.2.1. 超图

超图(Hypergraph)是一种新的数据结构，由于组合数学和计算机科学的发展，超图在数据科学中的应用也越来越丰富。超图主要包括了两个部分，即节点和超边。我们将超图记作 H = ( V , E ) ，其中V表示节点构成的集合，E表示超边构成的集合，其中每条超边是一组具有某种关联关系的节点所构成的子集，令 n = | V | , m = | E | 分别表示节点的个数以及超边的条数。记节点为 v i ∈ { 1 , ⋯ , n } ，超边为 e i ∈ { 1 , ⋯ , m } 。超图H所对应的关联矩阵 A ∈ ℝ n × m 定义为：

A ( i , j ) = { 1       v i ∈ e j 0         v i ∉ e j

超图数据的示意图如图2所示。

图1. 模型网络结构

图2. 左边：节点集合为 V = { v 1 , v 2 , v 3 , v 4 , v 5 , v 6 } ，超边集合为 E = { e 1 , e 2 , e 3 , e 4 } 的超图H，其中 e 1 = { v 1 , v 2 , v 5 , v 6 } ， e 2 = { v 1 , v 3 } ， e 3 = { v 3 , v 4 } ， e 4 = { v 4 , v 5 , v 6 } 。右边：超图H所对应的关联矩阵A

 3.2.2. 最优超图同态算法

在本项工作中，我们将每个脑区作为一个节点，使用Jiangwen Jiang等人 [ 50 ] 提出的动态超图构造算法(Dynamic Hypergraph Construction Algorithm)，以从fMRI中提取得到的血氧水平依赖性信号为节点特征，计算得到每个被试的初始超图数据 { H ′ k } k = 1 268 。然而，每个初始超图 H ′ k 侧重于刻画对应被试的同频激活脑区，因此当我们直接将初始超图 { H ′ k } 送入模型学习会导致模型训练不稳定、鲁棒性差等问题。为了克服这一缺陷，我们针对性的设计了最优超图同态算法，用以提取超图数据集 { H ′ k } 中的公共拓扑分布，以此增强模型的鲁棒性。最优超图同态算法基于超图相似度指标，我们首先给出超图相似度指标的概念。对于两个具有相同节点的超图 H = ( V , E ) 和 H ′ = ( V , E ′ ) 且条件超边条数相等，即 | E | = | E ′ | ，H与 H ′ 之间的相似度定义如下：

Sim ( H , H ′ ) : = max f : E → E ′ 1 | E | ∑ e ∈ E s ( e , f ( e ) )

这里f是超边集合E到 E ′ 的双射， s ( e , e ′ ) 的定义如下：

s ( e , e ′ ) = | V H ( e ) ∩ V H ′ ( e ′ ) | | V H ( e ) ∪ V H ′ ( e ′ ) |

其中

V H ( e ) = { v | v ∈ e } ,     V H ′ ( e ′ ) = { v | v ∈ e ′ }

对于超图集合 { H ′ k } ，基于超图相似度，最优超图同态算法定义如下：

H = arg max H ∑ k Sim ( H , H ′ k )

通过最优超图同态算法得到与 { H ′ k } 具有最高公共拓扑分布的超图H后，我们采用对 H ′ k 和H进行拼接的方式完成超图构建，得到超图 H k ，即 H k = H | | H ′ k 。我们记第k个被试的超图数据 H k 的关联矩阵为 A k 。

 3.2.3. 交替式超边神经元算法与生成器

利用解剖自动标记模板(Anatomical Automatic Labeling, AAL)将大脑划分为90个脑区。从fMRI数据中提取每个脑区的血氧水平依赖性信号，长度为180。这样我们就得到了维数为 ℝ 90 × 180 的节点初始特征，记作 X k , V ( 0 ) ，这里下标k代表被试编号。同时，从DTI数据中提取各个脑区之间的白质纤维连接强度，得到维数为 ℝ 90 × 90 的结构连接矩阵 S k ，结合由最优超图同态算法得到的被试超图关联矩阵 A k ∈ ℝ 90 × m (m为超边的条数)，得到超边初始特征：

X k , E ( 0 ) = A k T S k

模型生成器G由L层交替式超边神经元模块构成，每个交替式超边神经元模块对上一层的节点特征和超边特征进行交替式更新，第 l + 1 层节点及超边特征更新具体算法如下：

X k , V ( l + 1 ) = σ ( A k X k , E ( l ) W E ( l + 1 ) + η X k , V ( l ) W V ( l + 1 ) ) , (1)

X k , E ( l + 1 ) = σ ( A k T X k , V ( l ) W V ( l + 1 ) + η X k , E ( l ) W E ( l + 1 ) ) , (2)

这里 X k , V ( l ) 和 X k , E ( l ) 分别表示第l层节点及超边特征， W V ( l + 1 ) 和 W E ( l + 1 ) 是第 l + 1 层交替式超边神经元模块中可学习的权重矩阵， η 是预先设置的超参数， σ 是激活函数。交替式超边神经元算法深度融合了结点和超边的特征，由于节点初始特征由fMRI所提取功能信息得到，超边初始特征由DTI所提供的结构信息得到，结合超边刻画高阶拓扑信息的优势，因此经过L层交替式超边神经元模块，实现了功能–结构互补信息在高阶拓扑上的深度融合。最后，利用超图关联矩阵 A k 与第L层超边特征 X k , E ( L ) ，计算得到多模态脑网络连接矩阵：

M k = A k X k , E ( L ) ( A k X k , E ( L ) ) T (3)

 3.2.4. 生成对抗策略与随机游走判别器

模型判别器基于随机游走对模型生成的多模态脑网络进行功能分布与结构分布的双向约束。对于任意给定节点 v r 0 ，我们将其作为随机游走的起始点。随机游走的终止条件是在随机游走的某一步，点回到上一步的位置。我们以步长为 T + 1 的一次随机游走来进行说明，假设此次随机游走所经过的路径为 [ v r 0 , v r 1 , ⋯ , v r T − 1 , v r T , v r T + 1 ] ，那么，根据随机游走的终止条件，上述游走路径满足 v r T − 1 = v r T + 1 。由于随机游走是一个马尔可夫过程，因此经历这一条游走的路径的概率为：义如下：

p ( [ v r 0 , v r 1 , ⋯ , v r T − 1 , v r T , v r T + 1 ] ) = ∏ t = 1 T + 1     p ( v r t | v r t − 1 )

我们分别以多模态脑连接矩阵 M k ，由预处理软件从fMRI和DTI中得到的功能连接矩阵和结构连接矩阵 F k 和 S k 作为随机游走中的概率转移矩阵，并结合游走终止条件，带入上式概率公式得：

p m u l , k ( [ v r 0 , v r 1 , ⋯ , v r T − 1 , v r T , v r T + 1 ] ) = ( ∏ t = 1 T M k ( r t − 1 , r t ) ‖ M k ( r t − 1 , ⋅ ) ‖ 1 ) M k ( r T , r T − 1 ) ‖ M k ( r T , ⋅ ) ‖ 1

p f u n , k ( [ v r 0 , v r 1 , ⋯ , v r T − 1 , v r T , v r T + 1 ] ) = ( ∏ t = 1 T F k ( r t − 1 , r t ) ‖ F k ( r t − 1 , ⋅ ) ‖ 1 ) F k ( r T , r T − 1 ) ‖ F k ( r T , ⋅ ) ‖ 1

p s t r , k ( [ v r 0 , v r 1 , ⋯ , v r T − 1 , v r T , v r T + 1 ] ) = ( ∏ t = 1 T S k ( r t − 1 , r t ) ‖ S k ( r t − 1 , ⋅ ) ‖ 1 ) S k ( r T , r T − 1 ) ‖ S k ( r T , ⋅ ) ‖ 1

记 Path ( v r 0 , v ) 是所有以 v r 0 为起点，v为终点的路径所构成的集合。那么，在多模态脑连接、功能连接、结构连接下的随机游走分布分别为：

p m u l , k ( v | v r 0 ) = ∑ path ∈ Path ( v r 0 , v ) p m u l , k ( path ) (4)

p f u n , k ( v | v r 0 ) = ∑ path ∈ Path ( v r 0 , v ) p f u n , k ( path ) (5)

p s t r , k ( v | v r 0 ) = ∑ path ∈ Path ( v r 0 , v ) p s t r , k ( path ) (6)

判别器D的结构由多层感知机构成，最后通过一个全连接层输出节点v是以功能连接或结构连接为概率转移矩阵进行随机游走得到的，还是由多模态脑连接作为概率转移矩阵得到的。根据生成对抗策略，判别器的损失函数为：

max D ∑ k = 1 K ∑ i = 1 90 E v ∼ p f u n , k [ log D ( v , v 1 ) ] + E v ∼ p s t r , k [ log D ( v , v 1 ) ] + E v ∼ p m u l , k [ log ( 1 − D ( v , v 1 ) ) ]

生成器损失函数为

max G ∑ k = 1 K ∑ i = 1 90 E v ∼ p m u l , k [ log D ( v , v 1 ) ]

这里K表示被试的个数。

 4. 实验与结果 4.1. 实验设置

本实验的环境设置如表2所示。对于生成器，它由8层交替式超边神经元模块(算法见公式(1)和公式(2))构成，得到最终更新后的超边特征后利用公式(3)计算得到生成器输出的多模态脑网络连接矩阵。对于判别器，根据公式(4) (5) (6)分别以多模态脑网络连接、功能连接、结构连接为概率转移矩阵进行随机游走采样，得到相对应的分布，然后通过多层感知机提取特征，最终通过全连接层输出该节点是否为游走终点的概率。我们使用Adam优化器对模型中参数进行更新，其中学习率、动量衰减因子、无穷大范数衰减因子分别设置为0.0001与0.9、0.999。训练轮次设置为500轮，训练过程中每次送入模型的批次数量设置为16。

Experimental environment parameter configuratio
序号 项目 详细信息
1 GPU NVIDIA GeForce GTX2080
2 CPU Intel(R)Core(TM)i7-6700 CPU @ 3.41GHz
3 深度学习框架 Pytorch
4 训练集测试集划分 训练集80%，测试集20%

表2. 实验环境参数配置

 4.2. 实验结果分析

训练完成后，我们按照四个不同的疾病阶段，即健康对照组(NC)、轻度认知障碍(EMCI)、重度认知障碍(LMCI)、阿尔茨海默症(AD)，计算每个组别的多模态脑网络连接的平均值。首先对各个脑区之间的多模态连接进行p检验，以检查其是否符合高斯分布。如果其p值小于0.05，则判定该脑连接不符合高斯分布。我们将舍弃那些不符合高斯分布的脑连接，将其连接强度设置为0。对于符合高斯分布的脑连接，我们取其连接强度的平均值。不同疾病状态下的平均多模态脑网络连接矩阵如图3所示：

图3. 不同疾病状态下的多模态脑网络连接

由于在疾病发展过程中增加或者减少的脑连接是阿尔茨海默症重要的疾病标志物，在得到各个组别的多模态脑网络连接后，基于此我们对疾病变化过程中的脑连接变化情况进行了研究，结果如图4所示。

根据多模态脑网络在不同疾病状态下的连接变化情况，我们挑选出了8个连接变化最多的脑区：37-左侧海马体(Hippocampus_L)，38-右侧海马体(Hippocampus_R)，42-右侧杏仁核(Amygdala_R)，56-右侧梭状回(Fusiform_R)，59-左侧顶上回(Parietal_Sup_L)，68-右侧楔前叶(Precuneus_R)，73-左侧豆状壳核(Putamen_L)，89-左侧颞下回(Temporal_Inf_L)。这里脑区名称前的数字为对应的解剖自动标记编号(ALL id)。我们分别对健康人和阿尔茨海默症患者在上述8个重点脑区内部的多模态连接进行了可视化，结果如图5所示。

结果显示，健康人和阿尔茨海默症患者在重点脑区内部的多模态连接具有明显的不同，因此说明我们模型计算得到的多模态脑网络能够有效刻画阿尔茨海默症疾病特征。

 4.3. 对比实验

为了更好地验证模型表征阿尔茨海默症疾病相关特征的能力，我们在三个不同的分类器：支持向量

图4. 不同阈值下，阿尔茨海默症发展过程中的多模态脑网络连接变化

图5. 重点脑区内的多模态连接

机(Support Vector Machine, SVM)、图卷积(Graph Convolutional Network, GCN)、深度神经网络(Deep Neural Networks, DNN)下设计了三组分类实验：健康对照组与轻度认知障碍、健康对照组与重度认知障碍、健康对照组与阿尔茨海默症，将我们所提出的多模态脑网络计算方法和其他多模态脑网络计算方法进行比较。参与比较的多模态脑网络计算方法包括：深度图卷积融合算法 [ 51 ]、多核学习算法 [ 52 ]、拓扑融合算法 [ 53 ]。实验结果的评价指标包括：精确度(Accuracy, ACC)、灵敏度(Sensitivity, SEN)、特异性(Specificity, SPE)、F1值。上述评价指标计算方法如下：

ACC = TP + TN TP + FP + TN + FN ,     SN = TP TP + FN

SPE = TN TN + FP ,     F 1 = 2 TP 2 TP + FP + FN

这里TP表示真阳性、FP表示假阳性、TN表示真阴性、FN是假阴性。结果如图6所示。

图6. 在不同分类器下，不同的多模态融合方法计算得到的多模态脑网络的预测性能

 5. 总结

阿尔茨海默症病理机制复杂，传统的单模态形态学方法无法对其进行精准刻画，因此需要利用多模态脑网络方法进行研究。本文提出了基于交替式超边神经元算法的生成对抗策略可以有效地预测多模态脑网络的计算，为阿尔茨海默症的智能辅助诊疗和疾病标志物分析奠定基础。本文主要内容包括：

第一，提出了最优同态超图算法，改进了原有的超图建模方法，有效提高模型的鲁棒性和泛化能力。第二，提出了交替式超边神经元算法，对脑区活动特征和超边高阶拓扑特征进行交替式迭代更新，高效地利用了不同模态数据之间的高阶互补信息。第三，采取图随机游走的方式比较模型生成的多模态脑网络和软件模板计算得到的单模态功能连接、结构连接之间的分布差异，对多模态脑网络在功能分布与结构分布上进行双向约束，实现了异质–异构数据的高效融合。综合实验证明，本文所提出的多模态脑网络融合算法在阿尔茨海默症相关疾病检测分类任务中，精度明显高于其他参与比较的多模态脑网络融合算法。证明了我们所提出的融合算法能更为有效地提取疾病相关特征。

此外，本文所提出的多模态脑网络融合方法，可以无障碍地推广到其他神经退行性疾病的研究上，例如帕金森症、癫痫等。另一方面，本文也存在一些不足之处，如多模态标注数据不足、参与比较的其他融合方法有限等问题，为此，在未来的实验与研究中，计划采用更大规模的数据集进行实验，与更多的相关方法进行比较，与阿尔茨海默症临床研究方面的专家展开合作。

 基金项目

本文工作受以下项目资助：深圳市自然科学基金重点项目(JCYJ20180507182506416)。

 文章引用

潘俊任,荆常宏. 基于交替式超边神经元算法的阿尔茨海默症多模态脑网络融合A Multimodal Brain Network Fusing Based on Interleaved Hyperedge Neurons Algorithm for Alzheimer’s Disease[J]. 计算机科学与应用, 2022, 12(09): 2203-2216. https://doi.org/10.12677/CSA.2022.129224

 参考文献 References Daviglus, M.L., Bell, C.C., Berrettini, W., et al. (2010) National Institutes of Health State-of-the-Science Conference Statement: Preventing Alzheimer Disease and Cognitive Decline. Annals of Internal Medicine, 153, 176-181.
https://doi.org/10.7326/0003-4819-153-3-201008030-00260 Alzheimer’s Association (2019) 2019 Alz-heimer’s Disease Facts and Figures. Alzheimer’s & Dementia, 15, 321-387.
https://doi.org/10.1016/j.jalz.2019.01.010 Canter, R.G., Penney, J. and Tsai, L.H. (2016) The Road to Restor-ing Neural Circuits for the Treatment of Alzheimer’s Disease. Nature, 539, 187-196.
https://doi.org/10.1038/nature20412 Wang, S., Shen, Y., Hu, J., et al. (2015) Hadoop-Based Analysis for Large-Scale Click-Through Patterns in 4G Network. International Conference on Wireless Algorithms, Systems, and Ap-plications, Qufu, 10-12 August 2015, 829-835.
https://doi.org/10.1007/978-3-319-21837-3_81 Wang, S.Q. and Li, H.X. (2012) Random Network Based Dynamic Analysis for Biochemical Reaction System. Advanced Science Letters, 10, 554-558.
https://doi.org/10.1166/asl.2012.3381 Wang, S.Q. and Li, H.X. (2011) Quantitative Construction of Regulatory Networks Using Multiple Sources of Knowledge. 2011 International Conference on Ma-chine Learning and Cybernetics, Vol. 1, Guilin, 10-13 July 2011, 91-96.
https://doi.org/10.1109/ICMLC.2011.6016667 Wang, S., Hu, J., Shen, Y., et al. (2014) Modeling and Analy-sis of Gene Regulatory Networks with a Bayesian-Driven Approach. 2014 14th International Symposium on Communi-cations and Information Technologies (ISCIT), Incheon, 24-26 September 2014, 289-293.
https://doi.org/10.1109/ISCIT.2014.7011918 Wang, S.Q. and Li, H.X. (2012) Defining Transcriptional Net-work by Combining Expression Data with Multiple Sources of Prior Knowledge. 2012 International Conference on Sys-tem Science and Engineering (ICSSE), Dalian, 30 June-2 July 2012, 102-106.
https://doi.org/10.1109/ICSSE.2012.6257157 Wang, S., Shen, Y., Shi, C., et al. (2018) Skeletal Maturity Recognition Using a Fully Automated System with Convolutional Neural Networks. IEEE Access, 6, 29979-29993.
https://doi.org/10.1109/ACCESS.2018.2843392 Wang, S., Shen, Y., Zeng, D., et al. (2018) Bone Age As-sessment Using Convolutional Neural Networks. 2018 International Conference on Artificial Intelligence and Big Data (ICAIBD), Chengdu, 26-28 May 2018, 175-178.
https://doi.org/10.1109/ICAIBD.2018.8396189 Wang, S., Wang, X., Shen, Y., et al. (2020) An Ensem-ble-Based Densely-Connected Deep Learning System for Assessment of Skeletal Maturity. IEEE Transactions on Sys-tems, Man, and Cybernetics: Systems, 52, 426-437.
https://doi.org/10.1109/TSMC.2020.2997852 Wang, S.Q., Li, X., Cui, J.L., et al. (2015) Prediction of Myelopathic Level in Cervical Spondylotic Myelopathy Using Diffusion Tensor Imaging. Journal of Magnetic Resonance Imaging, 41, 1682-1688.
https://doi.org/10.1002/jmri.24709 Zeng, D., Wang, S., Shen, Y., et al. (2017) A GA-Based Feature Selection and Parameter Optimization for Support Tucker Machine. Procedia Computer Science, 111, 17-23.
https://doi.org/10.1016/j.procs.2017.06.004 Wu, K., Shen, Y. and Wang, S. (2018) 3D Convolutional Neural Network for Regional Precipitation Nowcasting. Image Signal Process, 7, 200-212. (In Chinese)
https://doi.org/10.12677/JISP.2018.74023 Wang, S., Wang, H., Shen, Y., et al. (2018) Automatic Recognition of Mild Cognitive Impairment and Alzheimer’s Disease Using Ensemble Based 3d Densely Connected Convolutional Networks. 2018 17th IEEE International conference on machine learning and applications (ICMLA), Orlando, 17-20 December 2018, 517-523.
https://doi.org/10.1109/ICMLA.2018.00083 Wang, H., Shen, Y., Wang, S., et al. (2019) Ensemble of 3D Densely Connected Convolutional Network for Diagnosis of Mild Cognitive Impairment and Alzheimer’s Disease. Neu-rocomputing, 333, 145-156.
https://doi.org/10.1016/j.neucom.2018.12.018 Lei, B., Liang, E., Yang, M., et al. (2022) Predicting Clinical Scores for Alzheimer’s Disease Based on Joint and Deep Learning. Expert Systems with Applications, 187, Article ID: 115966.
https://doi.org/10.1016/j.eswa.2021.115966 You, S., Lei, B., Wang, S., et al. (2022) Fine Perceptive Gans for Brain MR Image Super-Resolution in Wavelet Domain. IEEE Transactions on Neural Networks and Learning Systems, 1-13.
https://doi.org/10.1109/TNNLS.2022.3153088 Yu, W., Lei, B., Ng, M.K., et al. (2021) Tensorizing GAN with High-Order Pooling for Alzheimer’s Disease Assessment. IEEE Transactions on Neural Networks and Learning Systems, 33, 4945-4959.
https://doi.org/10.1109/TNNLS.2021.3063516 Lei, B., Yu, S., Zhao, X., et al. (2021) Diagnosis of Early Alzheimer’s Disease Based on Dynamic High Order Networks. Brain Imaging and Behavior, 15, 276-287.
https://doi.org/10.1007/s11682-019-00255-9 Yu, W., Lei, B., Wang, S., et al. (2022) Morphological Feature Visualization of Alzheimer’s Disease via Multidirectional Perception GAN. IEEE Transactions on Neural Networks and Learning Systems, 1-15.
https://doi.org/10.1109/TNNLS.2021.3118369 Wang, S., Hu, Y., Shen, Y., et al. (2018) Classification of Diffusion Tensor Metrics for the Diagnosis of a Myelopathic Cord Using Machine Learning. International Journal of Neural Systems, 28, Article ID: 1750036.
https://doi.org/10.1142/S0129065717500368 Dai, Z., Lin, Q., Li, T., et al. (2019) Disrupted Structural and Functional Brain Networks in Alzheimer’s Disease. Neurobiology of Aging, 75, 71-82.
https://doi.org/10.1016/j.neurobiolaging.2018.11.005 Dennis, E.L. and Thompson, P.M. (2014) Functional Brain Connectivity Using fMRI in Aging and Alzheimer’s Disease. Neuropsychology Review, 24, 49-62.
https://doi.org/10.1007/s11065-014-9249-6 Jeon, E., Kang, E., Lee, J., et al. (2020) Enriched Representation Learning in Resting-State fMRI for Early MCI Diagnosis. International Conference on Medical Image Computing and Computer-Assisted Intervention, Lima, 4-8 October 2020, 397-406.
https://doi.org/10.1007/978-3-030-59728-3_39 Yu, S., Wang, S., Xiao, X., et al. (2020) Multi-Scale En-hanced Graph Convolutional Network for Early Mild Cognitive Impairment Detection. International Conference on Medical Image Computing and Computer-Assisted Intervention, Lima, 4-8 October 2020, 228-237.
https://doi.org/10.1007/978-3-030-59728-3_23 Baltrušaitis, T., Ahuja, C. andMorency, L.P. (2019) Multi-modal Machine Learning: A Survey and Taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41, 423-443.
https://doi.org/10.1109/TPAMI.2018.2798607 Munsell, B.C., Wu, G., Gao, Y., et al. (2016) Identifying Rela-tionships in Functional and Structural Connectome Data Using a Hypergraph Learning Method. International Conference on Medical Image Computing and Computer-Assisted Intervention, Athens, 17-21 October 2016, 9-17.
https://doi.org/10.1007/978-3-319-46723-8_2 Goodfellow, I., Pouget-Abadie, J., Mirza, M., et al. (2014) Generative Adversarial Nets. 28th Conference on Neural Information Processing Systems, Vol. 27, Montreal, 8-13 De-cember 2014. Wang, S., Wang, X., Hu, Y., et al. (2020) Diabetic Retinopathy Diagnosis Using Multichannel Gen-erative Adversarial Network with Semisupervision. IEEE Transactions on Automation Science and Engineering, 18, 574-585.
https://doi.org/10.1109/TASE.2020.2981637 Hu, S., Shen, Y., Wang, S., et al. (2020) Brain MR to Pet Syn-thesis via Bidirectional Generative Adversarial Network. International Conference on Medical Image Computing and Computer-Assisted Intervention, Lima, 4-8 October 2020, 698-707.
https://doi.org/10.1007/978-3-030-59713-9_67 Hu, S., Yu, W., Chen, Z., et al. (2020) Medical Image Recon-struction Using Generative Adversarial Network for Alzheimer’s Disease Assessment with Class-Imbalance Problem. 2020 IEEE 6th International Conference on Computer and Communications (ICCC), Chengdu, 11-14 December 2020, 1323-1327.
https://doi.org/10.1109/ICCC51575.2020.9344912 Lei, B., Xia, Z., Jiang, F., et al. (2020) Skin Lesion Seg-mentation via Generative Adversarial Networks with Dual Discriminators. Medical Image Analysis, 64, Article ID: 101716.
https://doi.org/10.1016/j.media.2020.101716 Zuo, Q., Lei, B., Shen, Y., et al. (2021) Multimodal Representations Learning and Adversarial Hypergraph Fusion for Early Alzheimer’s Disease Prediction. Chinese Con-ference on Pattern Recognition and Computer Vision (PRCV), Beijing, 29 October-1 November 2021, 479-490.
https://doi.org/10.1007/978-3-030-88010-1_40 Hu, S., Lei, B., Wang, S., et al. (2021) Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis. IEEE Transactions on Medical Imaging, 41, 145-157.
https://doi.org/10.1109/TMI.2021.3107013 Zu, C., Gao, Y., Munsell, B., et al. (2016) Identifying High Order Brain Connectome Biomarkers via Learning on Hypergraph. International Workshop on Machine Learning in Medical Imaging, Athens, 17 October 2016, 1-9.
https://doi.org/10.1007/978-3-319-47157-0_1 Liu, M., Zhang, J., Yap, P.T., et al. (2017) View-Aligned Hy-pergraph Learning for Alzheimer’s Disease Diagnosis with Incomplete Multi-Modality Data. Medical Image Analysis, 36, 123-134.
https://doi.org/10.1016/j.media.2016.11.002 Shao, W., Peng, Y., Zu, C., et al. (2020) Hypergraph Based Mul-ti-Task Feature Selection for Multimodal Classification of Alzheimer’s Disease. Computerized Medical Imaging and Graphics, 80, Article ID: 101663.
https://doi.org/10.1016/j.compmedimag.2019.101663 Aviles-Rivero, A.I., Runkel, C., Papadakis, N., et al. (2022) Multi-Modal Hypergraph Diffusion Network with Dual Prior for Alzheimer Classification. arXiv preprint arXiv:2204.02399. Mo, L.F. and Wang, S.Q. (2009) A Variational Approach to Nonlinear Two-Point Boundary Value Problems. Nonlinear Analysis: Theory, Methods & Applications, 71, e834-e838.
https://doi.org/10.1016/j.na.2008.12.006 Wang, S.Q. (2009) A Variational Approach to Nonlinear Two-Point Boundary Value Problems. Computers & Mathematics with Applications, 58, 2452-2455.
https://doi.org/10.1016/j.camwa.2009.03.050 Wang, S.Q. and He, J.H. (2008) Variational Iteration Method for a Nonlinear Reaction-Diffusion Process. International Journal of Chemical Reactor Engineering, 6, 1-8.
https://doi.org/10.2202/1542-6580.1630 Wang, S.Q. and He, J.H. (2007) Variational Iteration Method for Solving Integro-Differential Equations. Physics Letters A, 367, 188-191.
https://doi.org/10.1016/j.physleta.2007.02.049 Wang, S., Chen, Z., You, S., et al. (2022) Brain Stroke Lesion Segmentation Using Consistent Perception Generative Adversarial Network. Neural Computing and Applications, 34, 8657-8669.
https://doi.org/10.1007/s00521-021-06816-8 Hu, S., Yuan, J. and Wang, S. (2019) Cross-Modality Synthesis from MRI to PET Using Adversarial U-Net with Different Normalization. 2019 International Conference on Medical Imaging Physics and Engineering (ICMIPE), Shenzhen, 22-24 November 2019, 1-5.
https://doi.org/10.1109/ICMIPE47306.2019.9098219 Ji, J., Liu, J., Han, L. and Wang, F. (2021) Estimating Effective Connectivity by Recurrent Generative Adversarial Networks. IEEE Transactions on Medical Imaging, 40, 3326-3336.
https://doi.org/10.1109/TMI.2021.3083984 Yan, C. and Zang, Y. (2010) DPARSF: A MATLAB Toolbox for “Pipeline” Data Analysis of Resting-State fMRI. Frontiers in Systems Neuroscience, 13, Article No. 13.
https://doi.org/10.3389/fnsys.2010.00013 Wang, J., Wang, X., Xia, M., et al. (2015) GRETNA: A Graph Theoretical Network Analysis Toolbox for Imaging Connectomics. Frontiers in Human Neuroscience, 9, Article No. 386.
https://doi.org/10.3389/fnhum.2015.00386 Cui, Z., Zhong, S., Xu, P., et al. (2013) PANDA: A Pipeline Toolbox for Analyzing Brain Diffusion Images. Frontiers in Human Neuroscience, 7, Article No. 42.
https://doi.org/10.3389/fnhum.2013.00042 Jiang, J., Wei, Y., Feng, Y., et al. (2019) Dynamic Hypergraph Neural Networks. Proceedings of the 28th International Joint Conference on Artificial Intelligence, Macao (China), 10-16 August 2019, 2635-2641.
https://doi.org/10.24963/ijcai.2019/366 Zhang, L., Wang, L., Gao, J., et al. (2021) Deep Fusion of Brain Structure-Function in Mild Cognitive Impairment. Medical Image Analysis, 72, Article ID: 102082.
https://doi.org/10.1016/j.media.2021.102082 Dyrba, M., Grothe, M., Kirste, T., et al. (2015) Multimodal Analysis of Functional and Structural Disconnection in Alzheimer’s Disease Using Multiple Kernel SVM. Human Brain Mapping, 36, 2118-2131.
https://doi.org/10.1002/hbm.22759 Songdechakraiwut, T., Shen, L. and Chung, M. (2021) Topological Learning and Its Application to Multimodal Brain Network Integration. International Conference on Medical Image Computing and Computer-Assisted Intervention, Strasbourg, 27 September-1 October 2021, 166-176.
https://doi.org/10.1007/978-3-030-87196-3_16
Baidu
map