如何在深度学习中处理非常大的 3D 数据答案

【问题标题】：How to handle very large 3D data in Deep Learning如何在深度学习中处理非常大的 3D 数据
【发布时间】：2020-04-23 03:41:04
【问题描述】：

我有一个大的输入特征，例如大小为 500x500x500 和 10000 的此类样本的 3D 数组。以及大小为500x500x500x500 的标签。我创建了一个输入形状为500x500x500 的模型，在输入端只使用一个Conv3D 层，在输出端使用Dense 层（我有自己的输出端密集层的原因），网络的输出形状是500x500x500x500 .

以下是我使用的最小模型：

ip = Input(shape=(500,500,500,1))  
x = Conv3D(100,3,activation="relu",padding='same')(ip)
x = Dense(500,activation="softmax")(x)
nn = Model(inputs=ip, outputs=x)

以下是摘要：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_5 (InputLayer)         (None, 500, 500, 500, 1)  0         
_________________________________________________________________
conv3d_4 (Conv3D)            (None, 500, 500, 500, 100 2800      
_________________________________________________________________
dense_4 (Dense)              (None, 500, 500, 500, 500 50500     
=================================================================
Total params: 53,300
Trainable params: 53,300
Non-trainable params: 0
_________________________________________________________________

运行模型时出现内存错误，因为我有 64 GB RAM 和 quadroP5000 nvidia GPU。

使其工作的另一种方法是将输入拆分为100s 的5x500x500 块，从而使网络输入大小为5x500x500。现在我有10000x100=1000000 大小为5x500x500 的样本。下面是修改后的网络：

ip = Input(shape=(5,500,500,1))  
x = Conv3D(100,3,activation="relu",padding='same')(ip)
x = Dense(500,activation="softmax")(x)
nn = Model(inputs=ip, outputs=x)

以下是摘要：

_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
input_6 (InputLayer)         (None, 5, 500, 500, 1)    0         
_________________________________________________________________
conv3d_5 (Conv3D)            (None, 5, 500, 500, 100)  2800      
_________________________________________________________________
dense_5 (Dense)              (None, 5, 500, 500, 500)  50500     
=================================================================
Total params: 53,300
Trainable params: 53,300
Non-trainable params: 0
_________________________________________________________________

显然参数的总数是相同的，但现在我能够训练网络，因为我能够将数据加载到 RAM 中。但是网络无法学习，因为它看不到所有信息一旦它只能看到其中的5。 信息分布在大小为 500x500x500 的整个数组中，因此网络无法仅查看大小为 5x500x500 的一个块来计算任何内容。 请建议我如何克服这个问题。我希望我的网络使用所有信息进行预测，而不仅仅是一个块。

【问题讨论】：

输入是3D，标签是4D，代表什么？
@VivekMehta 是的，输入是 3D，标签是 4D。很抱歉，我不能透露更多关于数据的信息，但是 3D 数据中有一些统计关系可以帮助预测 4D 数据，而且这种关系分布在 3D 数据中，而且处理起来非常庞大。因此，即使我一次在内存中加载一个块，也要寻找某种方法来利用所有统计关系。
如果你真的需要这样的硬核图像分辨率，那么将任务分成两个阶段怎么样：你制作了 3d 数据块：125 x batch*100*100*100*1/image 用于更小的空间抽象并意味着损失。然后使用 batch*100*100*100*1/image ，即对较大的空间使用较小的分辨率，然后结合 2 个结果？结合例如您制作了较低分辨率的部分，提取了大量的一般空间特征。在它之后，您可以在处理块时提供这些功能，将它们与 at 用于 Dense 层合并。您可以分别处理这两个阶段，对结果求和/表示结果。
我的意思是你别无选择。你得到更大的 GPU 资源，或者你将更低和更高的空间信息与我提出的方法结合起来，虽然它不舒服，但在某些情况下可以产生更多的生成能力。
如何在不丢失特征的情况下使用编码器减小尺寸。 en.m.wikipedia.org/wiki/Autoencoder

标签： machine-learning keras deep-learning artificial-intelligence data-science

【解决方案1】：

您可以在将输入提供给 CNN 之前调整其大小。例如，我会选择 100x100x100 甚至 50x50x50。另一种选择是在卷积层之前添加一个 Max/Mean/Average Pooling 层以进行某种降维。

我遇到了同样的问题，我发现如果我只使用 CPU 运行整个过程，它就可以工作（但需要很长时间）。我不确定这是否会增加您的担忧。

【讨论】：