如何执行 3 通道图像体素明智求和（医学图像）答案

【问题标题】：How to perform 3 channel images voxel wise summation (medical images)如何执行 3 通道图像体素明智求和（医学图像）
【发布时间】：2022-11-21 10:39:25
【问题描述】：

enter image description here 正如你看到的图像。

假设从 3d CNN 模型（如 nnunet）的最后一层到左肺、右肺和背景预测了三个通道图像。

我想在网络中添加一个辅助层，仅对左右肺部预测图像通道执行体素汇总

但是，我只知道图像通道的概念，因为RGB颜色是3通道图像和1通道图像，只有明暗，所以我不知道左右肺通道和背景通道的概念。你能告诉我这个通道概念的原理，并告诉我如何进行上面的工作吗？


        x = self.conv_blocks_context[-1](x)

        for u in range(len(self.tu)):
            x = self.tu[u](x)
            x = torch.cat((x, skips[-(u + 1)]), dim=1)
            x = self.conv_blocks_localization[u](x)
            seg_outputs.append(self.final_nonlin(self.seg_outputs[u](x)))

        if self._deep_supervision and self.do_ds:
            return tuple([seg_outputs[-1]] + [i(j) for i, j in
                                              zip(list(self.upscale_logits_ops)[::-1], seg_outputs[:-1][::-1])])
        else:
            return seg_outputs[-1]

也许seg_outputs[-1]来自nnunet的最后一层，所以我想我应该在这部分添加辅助层

【问题讨论】：

标签： 3d image-segmentation medical

【解决方案1】：

是的， seg_outputs[-1] 就是你要找的层。我尝试解释关于这一层的概念。假设这一层的形状是 B(atch) x C(hannel) x D(epth) x H(eight) x W(idth)，您要理解的概念是这个 C。在您的语义分割示例中，C == 3，其中（也许，取决于您的代码）c[0] 是背景 logit，c[1] 是左肺 logit，c[2] 是右肺 logit。维度 C 的 Argmax 给你分割结果。要继续工作，您需要的输出是 seg_outputs[-1][:,1:,...].sum(dim=1, keepdim=True)，如果您仍然需要后台登录，只需连接您的后台频道.

【讨论】：