使用预训练的 CNN (inceptionv3) 训练 3D 医学图像答案

【问题标题】：Using a pre-trained CNN (inceptionv3) for training 3D medical images使用预训练的 CNN (inceptionv3) 训练 3D 医学图像
【发布时间】：2020-03-06 12:28:04
【问题描述】：

我正在尝试通过在医学图像（灰度 3D 脑部 PET 扫描）上重新训练 InceptionV3 来进行迁移学习。

我有两个挑战：将我的数据从灰度图像转换为 RGB 图像，以及为 inception 架构格式化我的 3D 输入数据。

我解决了第一个挑战，将它们堆叠成 3 个通道（将相同的图像提供给网络的所有 3 个通道）。

第二个挑战仍然是一个问题：网络接受 2D 图像。当前的图像尺寸为 79 x 95 x 79 x 3，因为网络很乐意接受 79 x 95 x 3 维图像。

什么是解决这个问题的好方法，是否可以将 3D 图像馈送到网络，或者是否必须将它们转换为 2D。如何将图像转换为 2D？

在一项研究中，使用网格方法从每个 3D 图像中提取 8 幅 2d 图像并显示为网格图像进行分类。这是从 3D 转换为 2D 的唯一方法，还是有其他选择？

【问题讨论】：

标签： python image-processing deep-learning pre-trained-model conv-neural-network

【解决方案1】：

有两种方法可以解决您的第二个问题。

快速方法：

想办法把 79 的维度降到 1。

对此有不同的方法。正如您所指出的，一种方法是形成一个网格。另一种方法是在其中几个图像（示例 3 或 10）上进行最大强度投影 (MIP)。这将取决于你在这个维度上的分辨率。我感觉您所描述的图像是 CT 扫描，在这种情况下，最好不要采用完整堆栈，而只采用属于您有兴趣分类的部分的专用图像。

您可以将堆栈的一部分作为具有相同全局类描述符的 MIP 提供。这可能适用于迁移学习。

漫长而困难的方法：

从头开始寻找或重新设计一个接受 3D 图像作为输入的架构。我不知道有关该主题的当前文献，但一个很好的开始示例可能是：https://ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1

【讨论】：