2023年第一期
深度学习在阿尔茨海默病fMRI图像分类中的研究进展
日期：2023-11-21
阿尔茨海默病（Alzheimer's disease, AD）是一种多见于85岁以上老人的神经系统变性疾病，其特征多表现为失语，记忆障碍等。功能性磁共振成像（functional magnetic resonance imaging,fMRI）是医生诊断AD的重要工具。目前，深度学习已在声音，图像，文字等数据领域取得突破性的进展，其在AD的fMRI图像分类中的应用也成为了研究热点。本文首先回顾了深度学习的概念；然后介绍了基于深度学习的AD的fMRI图像分类中的几种方法，包括卷积神经网络方法，循环神经网络方法，图神经网络方法；最后对未来的发展进行展望，为后续研究提供参考。
Abstract
Alzheimer's disease is a neurodegenerative disease that affects people over the age of 85 and is characterised by aphasia, dyscognition and memory impairment. Functional magnetic resonance imaging is an important tool for doctors to diagnose AD. Deep learning has made breakthroughs in the field of sound, image and text data, and its application to fMRI image classification for AD has become a hot research topic. This paper first reviews the concept of deep learning; then introduces several methods in fMRI image classification for AD based on deep learning, including convolutional neural network methods, recurrent neural network methods, and graph neural network methods; and finally provides an outlook on the future development to provide reference for subsequent research.
关键词
Key words
Alzheimer's disease / Classification / Deep learning / fMRI image
引用本文
林子粲 , 李烁 , 许桓阁 , 钟蔚颖 , 王奕博 , 王之琼. 深度学习在阿尔茨海默病fMRI图像分类中的研究进展. 阿尔茨海默病及相关病杂志. 2023, 6(1): 69-72 https://doi.org/10.3969/j.issn.2096-5516.2023.01.012
LIN Zican , LI Shuo , XU Huange , ZHONG Weiying , WANG Yibo , WANG Zhiqiong. Advances in deep learning for fMRI image classification in Alzheimer's disease. Chinese Journal of Alzheimer's Disease and Related Disorders. 2023, 6(1): 69-72 https://doi.org/10.3969/j.issn.2096-5516.2023.01.012
1 引言
阿尔茨海默病（Alzheimer's disease, AD）是一种多见于85岁以上老人的神经系统变性疾病。如今，随着AD患者日益增多，患者本人及其家人的生活质量都受到了严重影响。且阿尔茨海默病发展病程缓慢，目前临床上缺乏完全治愈此病的有效方法，只能在前期通过药物和心理干预的方式减轻病症。前期诊断中，医学影像技术起到了至关重要的作用，因此人们开始积极探索各种AD的可用医学诊断手段。其中深度学习在基于功能性磁共振成像(functional magnetic resonance imagin，fMRI)的AD分类任务中表现出色。fMRI技术作为 一种具有无创、高分辨率等特点的神经影像技术被引入，在阿尔茨海默症的诊断中有着很出色的表现[1]。随着fMRI技术的发展，传统的机器学习和数据挖掘技术在对其数据的处理上已不是很让人满意，而基于深度学习的处理方法逐渐成为研究的热点。作为深度学习的主流之一的神经网络，它的深度代表着在神经网络的学习过程中使用的函数中非线性运算组合水平的数量[2]，相对于传统的机器学习方法，深度学习方法对处理高维数据具有天然优势，它可以表示非常复杂的函数，因此其逐渐成为了研究 fMRI 数据的重要方法[3]。深度学习模型包括卷积神经网络，循环神经网络，图神经网络等，其不同特点的模型可以在处理不同的AD分类任务时进行灵活选择（表1）。通过web of science检索统计卷积神经网络、循环神经网络和图神经网络在AD的分类上应用的相关论文数量，可以发现卷积神经网络的相关论文数量最多有4600篇，其次是循环神经网络的1500篇和图神经网络的607篇（图1）。它们为fMRI图像分类提供了许多新的思路。
表1 模型最新研究进展概括Tab.1 Overview of the latest research progress of the model |
| 方法 | 创新技术 | 相关研究 |
|---|---|---|
| 卷积神经网络 | 卷积层密切连接 | [5] |
| 改进ResNet网络 | [6],[7] | |
| 循环神经网络 | 数据增强 | [9],[10] |
| 结合其他模型 | [10],[11] | |
| 池化层改进 | [14],[18] | |
| 结合极限学习机 | [15] | |
| 图神经网络 | 结合迁移学习 | [17] |
2 卷积神经网络在AD分类中的应用现状分析
Yann LeCun等在1998年定义了第一个卷积神经网络模型--LeNet-5模型[4]，该模型分为输入层，卷积层，池化层和全连接层等，最后一层softmax高斯连接层用来进行分类输出（图2）。该模型被广泛应用于机器翻译，搜索技术等领域，如今在医学图像处理领域也展示了良好的性能。
卷积神经网络对AD的分类通常分为数据预处理、卷积层计算、池化层向下采样、全连接层分类输出四个部分，其流程为：首先对fMRI数据处理，包括运动校正，空间平滑等步骤的预处理；然后在卷积层计算中提取图像数据的特征，使用图像数据与卷积核进行点乘；接着使用池化层沿着空间维度执行向下采样操作，控制网络参数的数量；最后将前面的结果作为全连接层的输入，得到分类预测结果。
2016年，Saman Sarraf等使用了卷积神经网络的LeNet-5模型将基于fMRI图像的AD病患者组与正常对照组进行了分类[5]，其中测试数据的准确性高达96.85%。该方法针对复杂的数据对网络的超参数进行了调整，并表明通过卷积神经网络提取移位和尺度不变特征后再进行深度学习分类的方法很有效。Yosra Kazemi等则是使用卷积神经网络架构AlexNet模型提取和学习从低级别到高级别的特征[6]，平均准确率到达97.63%，使分类结果得到明显的改善。AlexNet模型在LeNet-5模型的基础上采用了Relu函数，将其添加在卷积池化之后，代替Sigmod函数以更低的计算成本进行优化。R.R.Janghel等[7]使用了卷积神经网络中VGGNet架构对fMRI图像进行分类，平均准确率分别达到了99.95%。VGGNet架构和其他传统架构的区别在于卷积层数量的减少和卷积层之间密切连接的增加。该团队在提取特征之前先将3D图像转换和缩放为2D图像，最后在分类中使用了线性判别、K均值聚类和决策树分类器。Modupe Odusami等则使用了一种经过微调的ResNet18网络[8]，对AD预测的准确率高达99.95%，准确性、灵敏度和特异性方面优于已知的其他模型。ResNet可以训练出更深的卷积神经网络模型，并且使用全局平均池化层代替了全连接层。该实验研究发现正则化的方法不仅减少了过拟合，并且可以在低误分类误差的情况下提高分类精度。AndreaLoddo等使用ResNet-50和ResNet-101模型作为迁移学习的最佳方案[9]，在ADNI数据集上AD三分类的准确率达到了100%。
3 循环神经网络在AD分类中的应用现状分析
1997年，M. Schuster等首先提出了循环神经网络（Recurrent Neural Network, RNN）[10]，该网络是一种特殊的神经网络模型，具有记忆长短期信息的能力。长短期记忆网络（Long Short-Term Memory，LSTM）则解决了循环神经网络的梯度弥散问题，通过输入门，遗忘门，输出门引入Sigmoid函数，结合tanh函数解决训练中可能出现的梯度消失爆炸问题。该技术在处理和预测序列数据的问题上有一定优势，同时解决了传统神经网络对序列信息的处理方面的局限性。循环神经网络革新了语音识别，语言建模等领域，如今被广泛应用于医学图像的处理。
目前大多数关于AD的研究都是基于横向测量，fMRI图像经过处理得到的脑网络是大脑的抽象表示形式，脑网络结构特征的变化代表着大脑不同脑区的变化，通常先对得到的数据集进行预处理，例如Kai Lin等使用动态功能连接网络分析[11]，利用rs-fMRI数据提取顺序特征，对样本数据进行加强来优化对AD的分类。
在模型选择方面，通常共同使用LSTM等循环神经网络和其他模型如CNN、图注意力层等来进行分类，从而更好的使动态时间特征对AD的分类发挥作用。例如Haijing Sun等将卷积神经网络与LSTM相结合，用来诊断AD[12]。基于此模型的分类通过卷积神经网络提取空间特征，最后构建了一个三层的LSTM模型来提取空间特征的时间变化特征，对AD分类的准确率达到了93.5%。Lu Zhang等提出了一种由一个循环神经网络图注意力层构成的DCMAT网络[13]，使用LSTM来处理fMRI信号的动态时间特征且LSTM的分类权重根据分类的结果进行更新，最终总体分类的准确性达到98.6%。
4 图神经网络在AD分类中的应用现状分析
图神经网络（Graph Neural Network，GNN）基于传统的神经网络实现了对图数据进行处理的功能，在非欧几里德数据的应用上十分重要。其通过卷积层对图中的节点不断更新，并在卷积层后面连接Relu激活函数增加图神经网络的非线性（图3）。在十几年的发展中，图神经网络模型取得了巨大的进步，如2016年Atwood等人提出了图深度卷积神经网络[14]。目前图神经网络包括图卷积网络，图生成网络，图注意力网络，图循环网络等模型。
图神经网络在AD的fMRI图像分类中的应用通常首先通过预处理对全脑划分脑区，构建以二值矩阵形式存储的脑功能网络；其次将每个脑区作为一个节点，脑功能网络作为图数据输入到图神经网络中，节点自身的特征信息传递给邻居节点并进行汇聚融合，得到新的节点，在卷积层中对图不断进行更新，引入激活函数增加图神经网络的非线性，并通过池化操作降低特征的维度，减少网络参数；然后用损失函数计算AD预测结果和真实结果的误差，根据损失函数的导数将误差沿梯度最小方向回传，使损失值收敛，从而优化对AD的分类预测。
Sarah Parisot等在2018年首次使用了图卷积神经网络对ADNI中的fMRI图像进行分析[15]。基于图卷积神经网络方法的分类首先将群体代表为一个稀疏图，其节点与基于成像的特征向量相关。该研究评估探讨了框架中单独组成部分对疾病预测的影响，将其与其他的基准线进行比较，在ADNI数据集上的准确率为80.0%。
Xiaoxiao Li等提出了一种可解释的图神经网络框架[16]，有新的正则化池化层，通过池化层中的节点池化分数计算出对AD分类比较重要的感兴趣区域。该方法通过对池化函数进行正则化，实现了比普通图神经网络更高的准确率。Xin Bi等则利用对脑网络分类的研究[17]，提出了一种带极限学习机（Extreme Learning Machine, ELM）聚合器的图神经网络，具有极快的聚合速度和强大的聚合能力。ChundeYang等提出了一种名为PSGR的方法将转化后的脑图输入到图注意力网络中对fMRI图像分类[18]。
图卷积网络可以有效的处理图数据，却不能很好的处理高维的脑网络和噪声。Lanting Li等针对这一问题提出了一种将分层图卷积网络和迁移学习相结合的稀疏脑网络集合框架TE-HI-GCN模型[19]。该模型与传统的图卷积网络模型相比提出了一个涉及分层图卷积神经网络和稀疏脑网络迁移学习的集成框架，可以改善疾病诊断的网络嵌入学习。
Yun Zhu等提出了一种基于结构和特征的 Graph U-Net模型[20]，与传统图神经网络方法不同的是该框架可以将图神经网络集成到具有良好性能的U-Net结构中，使用自适应图卷积网络和自适应全连接层构成池化层，并在池化层中考虑图节点的结构和特征，将图的拓扑信息和节点特征信息相结合，使得池化过程不会丢失重要节点。该研究的准确率为83.69%。
5 结论
随着人口老龄化成为全球趋势，AD已成为发达国家民众的主要死因之一。作为一种神经变性脑部疾病，AD严重影响着患者和家庭的生活质量。因此，对AD的早诊断、早发现对于患者及家人具有重要意义。本文系统的回顾了深度学习在AD分类上的应用现状并对模型的最新研究进展进行了概括，表明深度学习在AD的早期诊断上是有关键作用的，但目前也存在着需解决的问题：
1.深度学习的过程中需要大量的数据进行训练，但目前可供研究的fMRI图像数据量较少。
2.部分模型的复杂度过高，导致模型的训练和预测耗费大量时间。
3.在对样本的训练时容易出现过拟合的情况，从而影响了对AD的分类结果。
综合上述问题，深度学习在AD的分类应用中未来的发展方向应该着重于提升算法精度，增加模型对小样本的学习能力，优化现有的深度学习模型满足对AD多个阶段分类的需求，还可以通过对池化层的改进等方法减少过拟合的风险。
| [1] | 沙小琴. 深度学习在基于fMRI图像的阿尔茨海默症分类预测中的应用研究[D]. 河北大学, 2021. |
| [2] | 刘建伟, 刘媛, 罗雄麟, 等. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7): 1921-1930. |
| [3] | 黄小洁. 面向任务态fMRI的深度学习建模与应用[D]. 浙江大学, 2021. |
| [4] | LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324. |
| [5] | Sarraf S, Tofighi G. Deep learning-based pipeline to recognize Alzheimer's disease using fMRI data[C]. 2016 future technologies conference (FTC). IEEE, 2016: 816-820. |
| [6] | Kazemi Y, Houghten S. A deep learning pipeline to classify different stages of Alzheimer's disease from fMRI data[C]. 2018 IEEE Conference on Computational Intelligence in Bioinformatics and Computational Biology (CIBCB). IEEE, 2018: 1-8. |
| [7] | Janghel RR, Rathore YK. Deep convolution neural network based system for early diagnosis of Alzheimer's disease[J]. Irbm, 2020, 1:1-10. |
| [8] | Odusami M, Maskeliūnas R, Damaševičius R, et al. Analysis of features of alzheimer's disease: detection of early stage from functional brain changes in magnetic resonance images using a finetuned ResNet18 network[J]. Diagnost, 2021, 11(6): 1071. 本文引用 [1] 摘要 |
| [9] | Loddo A, Buttau S, Di Ruberto C, et al. Deep learning based pipelines for Alzheimer's disease diagnosis: a comparative study and a novel deep-ensemble method[J]. Computers in Biology and Medicine, 2022, 141: 105032. |
| [10] | Schuster M, Paliwal KK. Bidirectional recurrent neural networks[J]. IEEE Transactions Sign Process, 1997, 45(11): 2673-2681. |
| [11] | Lin K, Jie B, Dong P, et al. Extracting Sequential Features from Dynamic Connectivity Network with rs-fMRI Data for AD Classification[C]. International Workshop on Machine Learning in Medical Imaging. Springer, Cham, 2021: 664-673. |
| [12] | Sun H, Wang A, He S, et al. Temporal and Spatial Analysis of Alzheimer's Disease Based on an Improved Convolutional Neural Network and a Resting-State FMRI Brain Functional Network[J]. Int J Environment Res Pub Heal, 2022, 19(8): 4508. |
| [13] | Zhang L, Wang L, Zhu D, et al. Jointly Analyzing Alzheimer's Disease Related Structure-Function Using Deep Cross-Model Attention Network[C]. 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI). IEEE, 2020: 563-567. |
| [14] | Atwood J, Towsley D. Diffusion-convolutional neural networks[J]. Advanc Neur Informat Process System, 2016, 29. |
| [15] | Parisot S, Ktena SI, Ferrante E, et al. Disease prediction using graph convolutional networks: application to autism spectrum disorder and Alzheimer's disease[J]. Medical image analysis, 2018, 48: 117-130. 本文引用 [2] 摘要 |
| [16] | Li X, Zhou Y, Dvornek NC, et al. Pooling regularized graph neural network for fmri biomarker analysis[C]. International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020: 625-635. |
| [17] | Bi X, Liu Z, He Y, et al. GNEA: a graph neural network with ELM aggregator for brain network classification[J]. Complex, 2020, 2020. |
| [18] | Yang C, Wang P, Tan J, et al. Autism spectrum disorder diagnosis using graph attention network based on spatial-constrained sparse functional brain networks[J]. Comput Biol Med, 2021, 139: 104963. |
| [19] | Li L, Jiang H, Wen G, et al. TE-HI-GCN: an ensemble of transfer hierarchical graph convolutional networks for disorder diagnosis[J]. Neuroinform, 2021: 1-23. |
| [20] | Zhu Y, Song X, Qiu Y, et al. Structure and Feature Based Graph U-Net for Early Alzheimer's Disease Prediction[C]. International Workshop on Multimodal Learning for Clinical Decision Support. Springer, Cham, 2021: 93-104. |