多模态神经影像融合方法及其在脑疾病诊疗中的应用进展

多模态神经影像融合方法及其在脑疾病诊疗中的应用进展

唐翡 李琳玲 韦梦莹 张治国

【摘 要】【摘要】 随着神经影像技术与相关数据处理方法的飞速发展，多模态神经影像融合广泛应用于神经科学和临床疾病等研究领域。对当前多模态神经影像融合算法的发展及其在脑疾病诊疗中的应用进行了概述。对多模态神经影像融合的3种层面，即早期融合、后期融合和中间融合的定义、相关应用及优缺点进行了介绍与分析。对目前常用的多模态神经影像融合算法，即基于信号源分离方法和深度多模态学习进行了介绍。进一步讨论了多模态神经影像融合技术在重大脑疾病（如精神分裂症、阿尔兹海默症等）诊疗中的应用。最后，对目前多模态神经影像融合方法和应用中存在的挑战及未来的研究方向进行了总结。

【期刊名称】《国际生物医学工程杂志》 【年(卷),期】2019(042)004 【总页数】6

【关键词】【关键词】 多模态融合； 神经影像； 磁共振影像； 深度多模态学习； 脑疾病 ·综述·

0 引言

近年来，随着成像技术的不断发展，研究者可以利用多种成像方法采集同一被试不同模态的神经影像[1]，从而能从不同角度提供有关大脑解剖结构或功能的信息。通常，仅对单一模态数据进行分析无法检验不同模态间的联合信息（如大脑结构与功能之间的联系）[2]，而利用多模态神经影像进行融合分析，则可

更全面、更深刻地了解大脑机制及其在疾病中的异常。多模态融合是指将采集到的多个模态的数据，利用特征提取和机器学习算法进行处理并将其得到的特征与中间决策输入融合算法中进行集成[3]。其中，特征是指从单一模态数据中提取出来的与所研究的大脑活动或结构相关的数据子集[4]。集成后的特征包含不同模态数据间的交互信息，将其输入模式识别算法，即可对某些脑疾病进行分类，从而辅助诊断或用于确定疾病的生物标记物，定位异常脑区并确定患者的治疗方案。

神经成像技术可从不同方面提供大脑的信息[5]，如结构像用于展现大脑的解剖结构，功能像用于描述人体的代谢情况。常见的结构像有高分辨率T1加权图像（结构磁共振影像）、弥散张量成像（d iffusion tensor imaging，DT I）等；常见的功能像有功能磁共振成像（fun ctional magnetic resonance imaging，fM RI）、正电子发射断层扫描（pos itron emission tomography，PET）等[6]。其中，结构磁共振影像（s tructural magnetic resonance imaging,sMR I）可用于评估每个体素上灰质和白质的局部浓度或体积的变化，从而反映相应的解剖结构变化；DTI图像中提取出的部分各向异性（f ractional anisotropy，FA）系数、平均弥散率（mean diffusivity，MD）等参数则可反映白质纤维束的走向和连接等解剖信息；fMRI可通过血氧水平依赖信号测量脑部神经元活动，具体可分为用于评估被试未执行明确任务时大脑发生的区域性相互作用的静息态功能磁共振（r esting-state fMRI，rs-fMRI）[7]，以及用于测量被试接受特定刺激或执行与某个分析任务相关的任务时的神经元激活情况的任务态功能磁共振（task-fMRI）[8]；而PET是目前唯一以解剖形态方式反映人体不同组织的代谢情况的成像技术。

多模态神经影像融合分析可充分利用不同影像技术提供的交叉信息，识别大脑功能失调区域或寻找潜在的疾病生物标志物。但是，由于多模态数据常常具有不同的特征，在对其进行分析时，需要考虑以下两方面的问题：①融合层面；结合多模态融合的定义，在利用融合算法对不同模态数据进行分析并得到融合特征前，需要考虑其输入应该选择原始数据、特征还是机器学习算法输出的中间决策，这就涉及到融合层面的选择。②融合算法；在利用融合算法对不同模态的数据进行融合分析时有多种方法，这些方法适用的场景不同且各有其优缺点。

本文将从融合层面和融合算法两个方面对多模态融合分析技术进行详细介绍并回顾多模态神经影像融合分析在脑疾病方面的应用研究。

1 融合层面

多模态数据融合包括早期融合、后期融合、中间融合3个层面，以下对其定义、优缺点及相关应用进行介绍。 1.1 早期融合结构

早期融合是将不同模态的原始数据或提取的特征输入融合单元中进行融合，再将得到的融合特征输入模型中，从而得到给定分析任务的最终决策（图 1）。 从神经影像中提取的常见特征有灰质密度、FA、fMRI激活图等。例如，在寻找精神分裂症（sc hizophrenia，S Z）的神经标记物时，有研究者利用早期融合结构将sMRI、fMRI和DTI等模态中提取出的特征进行融合，训练机器学习算法对疾病患者与健康被试进行分类[9-10]，该过程中还可加入一些先验信息（如认知评分等）以指导多模态融合[10]。此外，还有研究者将早期融合结构用于双相情感障碍（b ipolar disorder，BD）与重度抑郁障碍（major