用于 3D 分割的深度学习答案

【问题标题】：deep learning for 3d segmentation用于 3D 分割的深度学习
【发布时间】：2020-04-17 16:26:35
【问题描述】：

我在同一位置拍摄了 20 张心脏图像，其中有 50 张。所以，20 个图像是一个输入，我有 50 个输入。因为心是动的，所以所有的形象都是不同的。我想将这些图像作为输入，然后使用深度学习将二进制掩码图像分割为输出。

我将我的输入视为 3D，并在网上找到了很多 3D CNN 或 FCN。但这些是 x,y,z 3D 的情况。我的情况是 x, y, t。

有什么建议吗？

【问题讨论】：

你为什么不把这个问题当作一个二维问题呢？您可以使用这些序列来移除图像中不需要的不动部分，然后在每个图像中分别使用 2D 模型进行分割。

标签： image-processing deep-learning 3d conv-neural-network faster-rcnn

【解决方案1】：

这个问题类似于视频对象分割，其中需要通过跨帧利用时间信息在视频中跨多个帧对对象进行语义分割。在您的情况下，可以将每组输入图像视为具有 20 帧 的视频，其数据集包含 50 个视频，您可以使用监督、半监督或无监督视频对象分割模型（取决于获得地面实况掩码的可用性/成本）。这个公式解决了使用 FCN 按(x,y,t) 顺序分割输入图像堆栈的任务。

以下是我找到的与视频对象分割相关的研究工作的参考资料：

【讨论】：