基于深度学习的医学图像配准
刘兆辉1，李铭浩1，肖延丽2，彭磊1
【摘 要】医学图像配准是医学图像分析的核心技术，在辅助临床诊断中起着至关重要的作用。目前基于深度学习方法逐渐应用于图像配准任务。深度学习图像配准（DLIR）框架是一种基于卷积神经网络的无监督的图像配准技术，可用于仿射和可变性医学图像配准。在DLIR框架中，通过利用类似于传统的基于灰度的图像配准的相似性测度，训练卷积神经网络进行图像配准。同时在该框架中通过卷积神经网络的堆叠可以实现由粗到精的图像配准过程。训练完成后的DLIR框架进行图像配准时无需迭代，因此性能与传统图像配准相当，速度快了几个数量级。 【期刊名称】《电子制作》 【年(卷),期】2019(000)018 【总页数】2
【关键词】医学图像配准；深度学习；卷积神经网络
基金项目：国家级大学生创新创业训练计划项目（201710439157），泰安市大学生科技创新行动计划项目（2017D046）。
0 引言
图像配准是将两个或多个图像对齐的过程。它是一种常用的医学图像分析技术。近年来，有监督和无监督的深度学习技术已经成功应用于图像配准[1-4]。深度学习技术自动收集和学习与任务相关的图像中各种复杂的信息，因此非常适合于医学图像配准工作。同时深度学习技术不容易受局部极值的影响，从而具有较强的鲁棒性。卷积神经网络（Convolutional Neural Networks，CNN）是
常用的深度学习技术，具有高度的并行性，能够满足大部分实时配准过程的需要。de Vos 等人[5]提出的深度学习图像配准（Deep Learning Image Registration，DLIR）框架是一种利用卷积神经网络实现的无监督的医学图像配准技术。在DLIR 框架下，利用固定图像和浮动图像之间的相似性对CNN 进行图像配准训练。与传统的图像配准技术相比，DLIR 框架中的变换参数不是直接优化得到的，而是通过优化CNN 间接得到的。CNN 的任务是通过分析固定图像和浮动图像来预测变换参数。利用预测的变换参数，得到一个稠密的位移矢量场（Displacement Vector Field，DVF）。DVF 用于对浮动图像进行重采样，使其尽量变换到与固定图像对齐的状态。在训练过程中，CNN 通过优化固定图像和浮动图像之间的相似性来学习图像配准的基本模式。一旦训练完成，CNN 就学会了图像配准任务，并且能够通过非迭代的方式完成固定图像和浮动图像之间的配准任务。本文下面章节对DLIR 框架[5]进行简单的介绍。
1 医学图像配准
医学图像配准是指将两幅或多幅医学图像通过空间几何变换，使得其中一幅图像图像与另一幅或其他图像达到空间位置上的对齐，从而满足临床医学应用的需要。配准过程中固定不动的图像称为固定图像（Fixed image），变换的图像称为浮动图像（Moving image）。医学图像配准的主要目标是根据相似性测度准则，寻找一种空间变换形式，使变换后的浮动图像与固定图像的相似性达到最大。
常规的医学图像配准过程主要包括五个步骤：特征空间提取、空间变换、图像插值、相似性测度和迭代优化。配准过程以固定图像和浮动图像为输入，进行特征空间的提取，常见的拥有图像配准的特征主要包括基于灰度和基于结构两
种。然后在优化过程中迭代的进行如下操作：首先，对于浮动图像需要选取一种空间变换模型，使其通过空间变换尽量与固定图像对齐；其次，对于空间变换后的浮动图像，还需要进行重采用，即利用图像插值求得变换后的图像；再次，根据相似性测度准则，判断变换后的浮动图像与固定图像是否对齐，即相似性是否达到最大值，如果没有达到最大值，则更新参数，循环的迭代上述步骤。最后达到迭代优化结束条件时，输出空间变换公式和变换后的浮动图像，即配准好的图像。至此配准过程完成，由此可见，医学图像配准是一个迭代优化求解变换参数的过程。
2 深度学习图像配准框架
在文献[5]中提出的深度学习图像配准框架中，CNN的任务是以固定图像和浮动图像未输入，来预测空间变换的参数。CNN 通过固定图像和浮动图像对之间的相似度来预测参数并进行训练，即待配准图像之间相似度的计算作为CNN 训练的损失函数。DLIR 框架提供了仿射和可变性图像配准，同时可以实现多尺度、多分辨率的图像配准。 2.1 仿射图像配准
通常在进行可变性图像配准之前，需要进行仿射变换，使图像基本对齐，可以简化后续复杂的优化步骤。由于仿射变换是全局的，因此，设计的CNN 对输入的待配准图像进行全局分析。同时为了解决输入图像不同尺度的问题，CNN 为固定图像和浮动图像提供了各自的分析管道。管道独立分析输入图像，消除了对输入图像裁剪、填充等尺寸调整的操作。在每个管道中，最终获得的特征的尺度是不同的。因此，采用平均值作为输出的特征。对于3 维图像来说，CNN 将产生12 个仿射变换参数：3 个平移、3 个旋转、3 个缩放和3 个剪切
基于深度学习的医学图像配准
