https://arxiv.org/pdf/2002.11430.pdf
多模配准最困难的地方：
1、多模态或序列的similarity measurement，例如mutual information(MI)，需要binning or quantizing，这样离散化会导致gradient vanishing，
2、no ground-truth .
在不同强度、噪声、模糊的数据间进行多模配准。引入了：
1、gradient loss：鲁棒性更强（across sequences，以及跨模态的大形变。）
2、adversarial learning approach：希望把多模配准转变成单模配准，以提高配混精准度。
二、方法
模型组成三个部分：
1、image transformation network T输出registration warp field。
2、image generator G
3、discriminator D，用以区分真实图像和生成图像。
图1、a transformation network T, a generator G and a discriminator D。训练的时候一步一个网络的训练。
1、transformation network T:
输入- the reference image R and the floating image F
输出- the registration warp field
2、generator G
输入-warped
输出-synthesizes image 也就是将floating image domain生成为reference image domain。
3、discriminator D
输入- the reference image R和 synthesizes image
输出-
将多模配准和单模配准
共享同一个形变场
，也就是说每个像素
的
与合成图像
一一对应。。在网络早期训练阶段T训练的不完全，配准结果也不好，假设我们采取类似于Pix2Pix的结构并且将不成对的
和R输入到discriminator，generator就会confused然后生成一个misaligened
。
为了解决这种unparied，论文提出了gradient-constrained GAN方法，loss是学习的，即惩罚output 和target，也惩罚了output和source。
generator的任务有三个部分: fooling the discriminator, 最小化output 和target之间的L1距离，并且保证output纹理相似source。
discriminate 的任务还是没有改变：discriminate real 和 fake。
T和G之间U-Net-like network，D、G、T的优化是一步一步进行的，一个网络训练的时候，另外两个网络的参数会被冻结。生成器G逐渐更新， 越来越真实，从而更新变换网络 T和
，
也会逐渐与R对齐，然后训练G。T和G的结果会越训练越好。
2.2 Loss
多模配准的loss一般有两个MI、NGF，如果利用MI的Parzen Window来解决梯度消失问题，但实际上会消耗很多的显存，很难训练。
而NGF就很难收敛。因此我们提出了local gradient loss来描述多模之间的局部结构信息。和NGF相似，但是比NGF对噪声更鲁棒，收敛更快。
是volume
的一个voxel position。local gradient：
(1)
x,y,z是gradient filed 并且p会在p周围邻域仅性得，梯度可以归一化为:
(2)
其中是L2距离，local gradient loss在R和F上的定义是：
(3)
是R和F的volume domain。在local gradient实验中，如果等式1中n非常小，就很难收敛，如果n太大，R和F的边缘就很难对齐，实际上
结果最好。
变换损失T的损失：
（4）
由两部分组成：
和
负local cross-correlation，以及
和
之间的local gradient distance :
(5)
空间平滑项：
（6）
Pix2Pix的loss的表达式:
(7)
是条件GAN的目标函数
是source 和the ground truth traget的L1距离。L1比较的是pixel之间的比较，这样直接比较是不对的。论文使用local gradient loss约束合成图像
和原图像
之间的的gradient距离，并保持输出纹理与原图之间的相似性。
我们结合GAN对象和local gradient loss来组成完备的loss：
(8)
三、实验和结论
3.1 数据集
235组数据训练，50组数据测试。下采样到112 x 128 x 96，论文增加随机平移、旋转、放缩和弹性形变作用在输入和合成数据上。合成的形变场可以看做是真实的配准场。形变场最大的范围压缩在-40~+40
3.2. Baseline 方法
传统的MI方法、VoxelMorph(local cross-correlation只在单模配准中比较好)，虽然有MI、NGF和LG，但实际上只有LG可以用来配准
3.3 评价
权重: （公式4）
（公式5）
、
（公式8）
CC和 local gradient窗口大小7x7x7
优化器ADAM学习率1e-4
显卡1080ti 11GB
Deform-GAN-2 有gradient-constrained loss
Deform-GAN-1没有gradient-constrained loss
图2、不同方法的配准结果
MI是全局的度量，因而局部评价比较困难。voxelMorph的local CC是基于灰度值的，因此在cross-sequence来说并不有效。voxelmorph的gradient loss似乎更有效一点，可以用来度量R和F之间的大形变。从而也证实了local gradient loss是有效的Deform-GAN-2和Deform-GAN-1配准效果更好，图2第二行中有噪声和模糊，deform-GAN也取得了较好的结果，从实验结果来看Deform-GAN-2的结果更好（含有local gradient loss）。
图3、配准对比
gradien constraint是的使得收敛更快，deform-GAN-2更稳定，在第一个epoch就能看到清晰的 ，黄色的箭头表示deform-gan-2比deform-gan-1的噪声更少，
，需要严格的刚性对齐，红色箭头表示Deform-GAN-2比Deform-GAN-1对的更齐。
为了量化配准结果，利用root mean square error(RMSE)计算合成形变场(ground truth)，另外使用Dice score评价配准结果。已经相应的配准速度。
表1、配准评价
虽然比voxelmorph慢，但依旧比传统算法快多了。
四、结论
Adversarial learning 对抗学习方法将多模相似性度量转换成单模。我们可以通过gradient based loss和local CC的加权和来改进配准结果，使基于gradient 的配准采用全局粗对准，而local CC损失保证配准精度。在大的形变中更有效、不关注与强度计算，对噪声、模糊都有一定的鲁棒性，并且运行速度更快。