图神经网络的核心思想是在图结构上进行信息传播和聚合，从而学习节点的表示向量。不同类型的GNN模型在信息传播和聚合方式上有所不同，但其基本框架是相似的。一个典型的GNN层包含以下几个步骤。

对于图中的每个节点，GNN模型会收集其邻居节点的信息。聚合函数的设计是GNN模型的核心，常见的聚合函数包括求和、平均、最大值等。例如，在GCN中，每个节点会聚合其邻居节点的特征向量的加权平均值 [1] 。GAT则引入了注意力机制，根据邻居节点与中心节点的相关性，赋予不同的聚合权重 [7] 。

假设图中的每个节点 $v$的特征为 $h_v$，其邻居节点集为 $\mathcal{N}\left(v\right)$，则聚合函数可以表示为：

$h_v^{\text{new}}=\text{Aggregate}\left(\left\{h_u|u\in \mathcal{N}\left(v\right)\right\}\right)$ (1)

在GCN中，聚合函数是加权平均，通常表示为：

$h_v^{\text{new}}=\sigma \left({\displaystyle \underset{u\in \mathcal{N}\left(v\right)}{\sum }\frac{1}{\sqrt{d_v{d}_u}}}{h}_{u}W\right)$ (1)

其中， $d_v$和 $d_u$分别是节点 $v$和其邻居节点 $u$的度， $W$是权重矩阵， $\sigma$是激活函数(例如ReLU)。这表示节点 $v$的新特征是其邻居节点特征的加权平均。

在GAT中，聚合是基于注意力机制，定义为：

$h_v^{\text{new}}=\sigma \left({\displaystyle \underset{u\in \mathcal{N}\left(v\right)}{\sum }{\alpha }_{vu}}{h}_u\right)$ (3)

其中， ${\alpha }_{vu}$是节点 $v$和邻居节点 $u$之间的注意力权重，通常通过一个自注意力机制来计算：

${\alpha }_{vu}=\frac{\exp \left(\text{LeakyReLU}\left(a^{\text{T}}\left[W{h}_v\Vert W{h}_u\right]\right)\right)}{{\displaystyle \underset{u^{\prime }\in \mathcal{N}\left(v\right)}{\sum }\exp }\left(\text{LeakyReLU}\left(a^{\text{T}}\left[W{h}_v\Vert W{h}_{u^{\prime }}\right]\right)\right)}$ (4)

其中 $a$是注意力权重向量，表示向量拼接。

图卷积网络(GCN)在处理同质图数据时表现出简单高效的特点，在节点分类和图分类任务中表现优异，尤其适用于脑网络和分子图分类任务，但其对异质图数据的处理能力有限且难以捕捉高阶邻居信息。相比之下，图注意力网络(GAT)通过注意力机制动态调整邻居节点的重要性，更适合处理异质图数据，在疾病预测和药物靶点预测中表现突出，但其计算复杂度较高且对大规模图数据的扩展性较差。GraphSAGE通过采样邻居节点降低计算复杂度，适用于大规模图数据处理，如知识图谱和分子图数据，但在稀疏图数据和小样本医学数据上的表现受限。总体而言，GCN适合同质图数据，GAT在异质图数据中表现优异，而GraphSAGE则更适合大规模图数据，三者在医学领域的应用各有侧重，分别适用于结构化脑网络分析、疾病预测与药物发现以及大规模知识图谱处理等场景。

聚合邻居信息后，GNN模型会将聚合后的信息与节点自身的特征信息结合起来，更新节点的表示向量。更新函数通常是一个非线性激活函数，例如ReLU，更新规则可以表示为：

$h_v^{\text{new}}=\sigma \left(W\cdot h_v+{\displaystyle \underset{u\in \mathcal{N}\left(v\right)}{\sum }{\alpha }_{vu}}{h}_u\right)$ (5)

其中， $W$是权重矩阵， $\sigma$是激活函数，通常选择ReLU或Sigmoid。通过多层GNN的堆叠，节点可以聚合到更远邻居的信息，从而学习到图的全局结构信息。

例如，LSTM聚合在处理时间序列脑网络数据时表现尤为出色。脑网络数据通常具有时序性，LSTM能够有效捕捉时间上的动态变化和长期依赖关系，这对于神经疾病的诊断和预测至关重要。通过LSTM聚合，GNN能够学习到节点特征随时间变化的趋势，从而提升对疾病预测的准确性。

相比之下，均值池化在分子图数据中的表现较为稳定。分子图数据通常包含静态的分子结构信息，且节点之间的关系相对固定，均值池化通过对邻域节点特征的简单平均，有效地减少了模型的复杂度，同时保持了较好的预测性能。最大池化虽然能够聚焦重要节点特征，但在某些情况下可能忽视了分子结构中的细微信息，因此在分子图任务中常常不如均值池化稳定。

在节点表示学习的基础上，GNN模型还可以学习整个图的表示向量。图表示学习可以通过对节点表示进行池化(pooling)操作(平均池化、最大池化、求和池化等)来实现，例如，平均池化操作可以表示为：

$h_G=\frac{1}{\left|V\right|}{\displaystyle \underset{v\in V}{\sum }{h}_v}$ (6)

其中， $h_G$是整个图的表示， $h_v$是节点 $v$的表示向量。

此外，在一些方法中，可以引入虚拟节点或图同构网络(GIN)来增强图的表示能力。GIN的图表示可以表示为：

$h_G=\text{MLP}\left({\displaystyle \underset{v\in V}{\sum }{h}_v}\right)$ (7)

其中，MLP表示多层感知器(MLP)操作，如 图1 所示为一个只有一层隐藏层的实例，用于增强图表示学习的能力 [2] 。

将GNN模型应用于医学领域，首先需要构建合适的医学图数据。医学图数据的构建方式多种多样，取决于具体的应用场景和数据类型。

在神经影像学中，脑网络图是最常见的医学图数据形式 [3] [8] 。脑网络图的节点通常代表脑区，边代表脑区之间的连接。连接的定义可以基于不同的脑活动指标，如功能磁共振成像(fMRI)中的功能连接、结构磁共振成像(sMRI)中的结构连接以及脑电图(EEG)/脑磁图(MEG)中的电生理连接。连接强度可以通过相关性、偏相关性、互信息等指标来量化。

分子图广泛应用于药物研发及分子生物学研究 [9] [10] 。在分子图中，节点代表分子的基本构成单位——原子，边则代表原子之间的化学键。分子图不仅能够描述药物分子、蛋白质分子以及生物分子通路等复杂系统，还能携带丰富的化学信息，如原子类型、键类型、原子电荷等，以及生物学功能，如酶活性、受体结合能力等。通过GNN在分子图上的建模，研究者可以更好地理解分子之间的相互作用，为药物设计、药物筛选以及疾病机理的研究提供强有力的支持。

医学知识图谱作为一种结构化的知识表示方法，广泛应用于医学信息的整合和推理任务 [5] [11] 。在医学知识图谱中，节点通常代表医学领域中的各种实体，如疾病、药物、基因、症状等，而边则表示这些实体之间的多种关系，例如疾病–基因的关联、药物–疾病的治疗关系、症状–疾病的表现关系等。随着医学数据的日益丰富，知识图谱为跨学科的医学研究和精准医疗提供了强大的工具，使得临床决策和个性化治疗方案的制定变得更加科学和高效。

多种神经疾病，如阿尔茨海默病(Alzheimer’s Disease, AD)、帕金森病(Parkinson’s Disease, PD)、自闭症谱系障碍(Autism Spectrum Disorder, ASD)等，都与脑网络功能异常有关 [3] [8] 。

GNN模型可以用于学习疾病相关的脑网络特征，并实现疾病的分类和诊断。面临数据训练对设备的要求逐渐提高，知识蒸馏这一方法引起大家的注意，Luo [8] 提出了一种基于知识蒸馏引导的可解释脑子图神经网络(Knowledge Distillation Guided Interpretable Brain Subgraph Neural Networks)。该方法将脑神经影像数据建模为图结构数据，并利用知识蒸馏技术，将预训练教师模型的知识迁移到脑子图神经网络中，从而提取患者和健康人脑图之间的判别性子图。这些判别性子图能够解释疾病相关的脑区和异常功能连接。该方法在帕金森病(PD)和注意力缺陷多动障碍(ADHD)的fMRI数据集上均取得了优于其他脑图分析方法的疾病预测准确率，并且能够提供与医学研究一致的可解释结果。

将图卷积神经网络(Graph Convolutional Neural Network, GCN)应用于物联网(IoT)传感器数据的心脏病检测 [12] 也是一项引人关注的成果，该研究使用深度图卷积网络DG_ConvoNet对心脏病IoT传感器数据进行分类和预测。实验结果表明，该模型在心脏病检测方面取得了较高的准确率(96%)，灵敏度(80%)和特异性(73%)。这些研究表明，GNN模型能够有效地利用脑网络图的结构信息，学习疾病相关的特征表示，并在神经疾病分类任务中取得良好的性能。

传统的脑网络研究大多采用简单的无向图模型，忽略了脑连接的方向性和高阶关系。然而，脑连接实际上是有方向的，例如神经信号的传递具有方向性。此外，脑区间可能存在高阶交互关系，例如多个脑区协同参与某项认知功能。

为了更精细地刻画脑网络的复杂性，研究者开始尝试使用超图(hypergraph)和有向图(directed graph)来建模脑网络。超图可以表示节点之间的高阶关系，有向图可以表示连接的方向性。GNN模型可以扩展到超图和有向图上，从而处理更复杂的脑网络数据。

超图和有向图未来GNN在脑网络分析方向的一个重要发展趋势，对于三种不同的图结构，如 图2 所示。

虽然目前基于超图和有向图的GNN模型在脑网络分析中的应用还相对较少，但随着研究的深入，相信这些方法将会在更精细的脑网络建模和分析中发挥重要作用。例如，与传统的基于节点特征的GNN不同，Hodge-GNN [13] 利用Hodge拉普拉斯算子将脑网络表示为单纯形复合体，从而捕捉更复杂的边缘拓扑特征。该方法能够有效处理脑区间的复杂交互，并在阿尔茨海默病神经影像学倡议(ADNI)数据集上优于现有的GNN和图分类方法，证明了其在脑疾病分析中的潜力。

同样地，在 [14] 的研究中，为了克服传统超图模型仅能分析个体数据的局限，提出了一种基于超图学习的群体层面脑网络分析方法。基于超图学习，研究成功地识别出了与疾病相关的脑区，并通过超图中每条超边的权重反映了脑区间的功能性联系，正如 表1 所示在实验中取得了优秀的结果。

病理图像分析是病理学研究的重要组成部分。传统的病理图像分析主要依赖于病理医生的手动观察和诊断，耗时且易受主观因素影响。GNN模型可以应用于病理图像的自动分析，例如肿瘤分割、细胞检测、病理分级等，从而提高病理诊断的效率和准确性。

Amendola [6] 等人研究了GNN模型在脑肿瘤分割中的有效性和透明度。该研究比较了多种GNN架构在脑肿瘤分割任务中的性能，并利用GNNExplainer方法提高了模型的可解释性。实验结果表明，GNN模型在脑肿瘤分割方面取得了精确的结果，并且通过GNNExplainer可以更好地理解模型的决策过程。此外，GraphGONet [15] 将基因本体论(Gene Ontology, GO)图嵌入到神经网络的隐藏层中，每个神经元代表一个生物学概念，结合患者的基因表达谱和邻居神经元的信息。GraphGONet在表型预测方面达到了与现有模型相当的准确率，并且能够自动生成由生物学概念组成的可解释性解释，有助于专家在医学场景中使用该工具。

这些研究表明，GNN模型在病理图像分析和表型预测方面具有优势。通过构建病理组织图或利用生物学知识图谱，GNN模型可以有效地学习病理特征和生物学规律，从而提高疾病诊断和预测的准确性和可解释性。

医学数据通常是多模态的，例如患者可能同时拥有基因组学数据、影像学数据、临床数据等。单一模态的数据往往难以全面反映疾病的复杂性，而多模态数据融合可以提供更丰富、更全面的疾病信息。GNN模型可以应用于多模态医学数据融合，从而实现更精准的疾病预测，相当于是设计多个单模态的模型并进行特征对齐，如 图3 所示。

目前，多模态GNN在医学领域的应用还处于起步阶段，但已经展现出了良好的发展前景。例如，可以将脑网络图与基因表达数据、临床信息等多种数据模态结合，构建多模态图神经网络，用于神经疾病的早期诊断和精准分型。

药物靶点亲和力(Drug-Target Affinity, DTA)预测是药物发现的关键步骤之一，旨在预测药物分子与靶点蛋白之间的结合强度。传统的DTA预测方法主要基于实验，成本高且耗时。GNN模型可以应用于DTA的计算预测，从而加速药物筛选和优化过程。

基于图神经网络和接触图的DTA预测方法DGraphDTA [9] 是一种非常有效的方法。该方法利用药物分子和蛋白质分子的结构信息，分别构建药物分子图和蛋白质分子图。蛋白质分子图的构建基于接触图预测方法，能够根据蛋白质序列预测其结构特征。然后，利用GNN模型学习药物分子和蛋白质分子的表示向量，并进行DTA预测。在基准数据集上的实验结果表明，DGraphDTA方法具有较强的鲁棒性和泛化能力。

Li [10] 介绍了DGL-LifeSci，一个开源的用于生命科学领域图深度学习的工具包。DGL-LifeSci基于Deep Graph Library (DGL)、RDKit和PyTorch构建，提供了用于分子性质预测、反应预测和分子生成的GNN 模型和工具，并支持用户自定义数据集和模型。实验结果表明，DGL-LifeSci在分子性质预测任务中取得了与现有模型相当甚至更优的性能，并且具有较高的计算效率。

GNN模型能够有效地利用药物分子和靶点蛋白的结构信息，学习药物–靶点相互作用的模式，并在DTA预测任务中取得良好的性能。

药物相互作用(Drug-Drug Interaction, DDI)预测是药物安全性和有效性评估的重要组成部分。多种药物联合使用可能会产生复杂的相互作用，例如协同作用、拮抗作用或毒副作用。GNN模型可以应用于DDI预测，从而帮助医生和药剂师评估药物联合用药的风险，指导临床用药。

对于新兴药物的相互作用预测，Y. Zhang [4] 等人提出了EmerGNN，一种基于流的图神经网络。EmerGNN利用生物医学网络中的丰富信息，通过提取药物对之间的路径，传播信息，并整合路径上的生物医学概念，学习药物对的表示向量。EmerGNN在新兴药物相互作用预测方面取得了比现有方法更高的准确率，并且能够识别生物医学网络上最相关的信息。例如基于医学知识图谱的图神经网络模型MK-GNN [11] ，用于药物组合预测。MK-GNN模型将患者的病历信息和医学知识图谱融合到神经网络中，利用先验知识和药物网络学习药物表示，从而实现药物组合预测。实验结果表明，MK-GNN模型在药物组合预测任务中取得了优于现有基线的性能。

GNN模型在DDI预测和药物组合预测方面具有优势。通过构建药物知识图谱或药物相互作用网络，GNN模型可以有效地学习药物之间的复杂关系，从而提高药物安全性和有效性评估的准确性和效率。

已有的GNN模型架构，如GCN、GAT、GraphSAGE等，在医学领域已经取得了一定的应用成果。然而，医学数据的复杂性和多样性，对GNN模型架构提出了更高的要求。为了更好地适应医学领域的应用需求，需要不断进行GNN模型架构的创新。

Gaggion [16] 等人提出了HybridGNet，一种混合图神经网络架构，用于医学图像分割。HybridGNet结合了卷积神经网络(CNNs)和图卷积神经网络(GCNNs)的优点，利用CNNs进行图像特征编码，利用GCNNs解码解剖结构的合理表示。HybridGNet还提出了一种新颖的图像到图的跳跃连接层，允许局部特征从CNN块流向GCNN块，从而提高了分割精度。实验结果表明，HybridGNet在胸部X射线图像的解剖分割任务中，在领域偏移和图像遮挡等具有挑战性的场景下，能够生成解剖上合理的分割结果，优于其他基于像素和地标的模型。

几何深度学习框架也同样被用于在图和流形上推广CNN架构 [1] 。该框架基于混合模型CNNs，能够学习局部、平稳和组合的任务特定特征。研究表明，文献中提出的各种非欧几里得CNN方法都可以被视为该框架的特定实例。该方法在图像、图和3D形状分析的标准任务中均优于以前的方法。虽然这篇文章发表较早，但其提出的几何深度学习框架为GNN模型架构创新提供了理论基础和方法指导。

未来，可以进一步探索更适合医学数据特点的GNN模型架构，例如，针对医学图像数据的混合模型、针对时序医学数据的动态GNN模型、针对多模态病理数据的多模态GNN模型等。

医学决策具有高风险性和高敏感性，因此，GNN模型在医学领域的应用，必须具备良好的可解释性。模型的可解释性能够帮助医生理解模型的决策依据，验证模型的合理性，并发现新的病理知识。

在脑肿瘤分割研究中，Amendola [6] 应用了GNNExplainer方法，提高了GNN模型的可解释性，并揭示了网络内部的决策过程。GNNExplainer是一种模型后解释方法，通过学习一个子图掩码，突出显示对模型预测最重要的子图结构。与此同时Bourgeais [15] 提出的GraphGONet模型本身就具有自解释性。GraphGONet模型将基因本体论图嵌入到神经网络中，每个神经元代表一个生物学概念，模型的预测结果可以直接映射回生物学概念，从而提供易于理解的生物学解释。

GNN模型的可解释性研究在病理领域具有重要意义。未来，我们需要探索基于注意力机制、原型学习、因果推断等方法的GNN可解释性技术，并将其应用于疾病诊断、预后预测、药物发现等任务，为临床医生和研究人员提供更可靠、更可信的决策支持。

为解决多模态医学数据中的时序依赖性和模态间的复杂关系，提出一种结合图注意力网络(GAT)和Transformer架构的融合模型，旨在处理脑网络图、病理图像和基因组数据等多模态时序数据。该模型的设计目标是充分利用不同模态和时序信息，提升医学任务中的预测精度，尤其是针对疾病预测和药物发现的应用场景。

首先需要建立跨模态注意力机制，传统的GNN模型通常采用固定的图结构来学习节点特征，但在医学数据中，不同模态的数据之间的关联非常复杂。为了有效地融合这些多模态数据，可以设计一个跨模态注意力机制，使得模型在不同模态间进行动态特征加权。具体而言，模型能够根据每种模态的特征在每一时刻的贡献来调整它们在融合过程中的权重。比如，在脑网络分析任务中，脑图谱数据的时序变化可能对疾病的预测更为关键，而基因组数据则可以根据不同疾病的遗传背景动态调整其权重。

其次进行分层图结构设计，在处理多模态时序数据时，图结构的设计尤为重要。我们设想在模型中引入分层图结构，分别处理局部和全局图信息。局部图层可以集中于细粒度的节点间关系，如单个患者的疾病进展；而全局图层则可捕捉群体层面的宏观规律，如不同患者群体的疾病趋势。通过分层设计，模型能够兼顾局部细节与全局趋势，增强对复杂医学数据的建模能力。

之后需要时序信息建模与更新，由于医学数据中存在明显的时序性(如连续的影像数据、病理检查结果等)，时序信息的建模对于准确的疾病预测至关重要。我们设想通过引入类似于Transformer中的时间编码机制，使得模型能够捕捉到不同时间点之间的动态依赖。通过这样的时序特征更新，模型能够对患者的健康变化趋势进行准确预测，从而提升长期疾病预测的能力。

该模型适用于疾病预测与药物发现领域，尤其是在涉及多模态数据融合的任务中。例如，在神经退行性疾病(如阿尔茨海默症)的早期诊断中，脑网络图(脑电图、功能磁共振图像等)与基因组数据共同提供了患者的生物标志物，模型能够通过融合这些信息进行早期识别。此外，该模型还可用于药物发现，结合分子图和病理数据预测药物的靶点及其可能的副作用。

如何设计可解释的GNN模型，使其在医学领域的决策过程更加透明，这是一个离我们非常近的问题，尽管GNN模型在医学领域已表现出强大的预测能力，但其“黑箱”特性仍然是限制其临床应用的重要因素。未来的研究可以探讨如何设计可解释的GNN架构，尤其是在多模态数据和时序信息的背景下。例如，如何利用局部可解释性方法(如LIME、SHAP)或图可视化技术，揭示模型在每个决策阶段是如何综合不同模态特征和时序信息的。