保存 4D 张量的最佳文件类型是什么？答案

【问题标题】：What is the best file type to save a 4D tensor?保存 4D 张量的最佳文件类型是什么？
【发布时间】：2020-09-23 23:21:43
【问题描述】：

我有一些数据需要为 3D 卷积网络的后续步骤进行预处理。数据来自一个格式如下的文件：

   POSITION
x     y     z     (feature 1 x) (feature 1 y) (feature 1 z) (feature 2 x) (feature 2 y ...
1.2   0.54  2.3    0.04          0.2          -0.9           -0.2         0.65 ...
...(more rows of the same format)...

在涉及对位置数据和特征进行操作的其他一些步骤之后，我得到了一个尺寸为 [height][width][depth][features] 的 pytorch 张量，或者等效地是一个 numpy 数组，其中前三个是我可以用来绘制的位置数据使用颜色的特征，[features] 是包含每个特征值的向量。

这些是相当大的文件，我不想在处理过程中稍后执行从上面显示的第一种文件格式到张量/数组形式的转换。我正在考虑使用torch.save(tensor, 'file.pt')。

我的问题是：保存这些数据以便以后无需任何预处理即可轻松访问的最佳文件格式是什么？必须使用 PyTorch 对其进行序列化似乎是一种非常复杂的方式来保存一种我希望具有更具体/指定文件格式的数据。

【问题讨论】：

@kmario23 一个简单的搜索确实让我到达那里，如果您阅读我写的内容和我提供的答案，那完全是错误的反应。我的整个问题是基于这样一个前提，即我认为将其保存为 pytorch 文件对于单个张量来说是错误的工作流程，我最终找到了一种不同的文件格式 .npy，我将其放入我的答案中，这更多适合它。你是看帖子还是只看标题？特别是最后一段？

标签： arrays numpy save pytorch tensor

【解决方案1】：

我想我找到了一种更直接的方法。 Numpy supports saving its arrays as a .npy file.

过程非常简单。要将数组array_1 保存到文件numpy_array_1.npy 中，您只需：

np.save('numpy_array_1.npy', array_l)

然后将其加载到array_2：

array_2 = np.load('numpy_array_1.npy')

【讨论】：