numpy.save 将 3D Numpy 数组与标签一起存储

Question

我想将形状为 (3, 225, 400) 的 Numpy 数组写入二进制文件。

这些数组基本上是使用屏幕缓冲区生成的，每个屏幕都有一个标签。我的目标是用标签保存每个屏幕。

numpy.save 只接收两个参数：文件指针和要保存的数组。唯一的选择似乎是将标签附加到数组，如下所示：

with open(file, 'wb') as f:
   np.save(f, np.append(buffer, [label]) )

但是，我不喜欢这个。另一种方法可能是只保存数组，然后像常规二进制写入一样写入“\t label”：

with open(file, 'wb') as f:
   np.save(f, buffer)
   f.write("\t" + label)

我不确定 np.save 是否在保存后将文件指针移动到新行。

考虑到我将高频保存数十万个数组标签对，您对效率有何建议？

Answer 1

一种选择是保存到一个 numpy (NPZ) 文件。我在下面提供了一个示例。 np.savez 和np.savez_compressed 允许将多个数组保存到一个文件中。

import numpy as np

# Create fake data.
rng = np.random.RandomState(0)
buffer = rng.normal(size=(3, 225, 400))
label = "this is the label"

# Save. Can use np.savez here instead.
np.savez_compressed("output.npz", buffer=buffer, label=label)

# Load.
npzfile = np.load("output.npz")

np.testing.assert_equal(npzfile["buffer"], buffer)
np.testing.assert_equal(npzfile["label"], label)

---

另一种选择是通过h5py 使用HDF5。 HDF5 文件的组织类似于文件系统（根为/，可以使用/data/buffers/dataset1 之类的名称创建数据集）。组织缓冲区和标签的一种方法是为每个缓冲区创建一个数据集并在其上设置标签属性。

import h5py
import numpy as np

# Create fake data.
rng = np.random.RandomState(0)
buffer = rng.normal(size=(3, 225, 400))
label = "this is the label"

this_dataset = "/buffers/0"

# Save to HDF5.
with h5py.File("output.h5", "w") as f:
    f.create_dataset(this_dataset, data=buffer, compression="lzf")
    f[this_dataset].attrs.create("label", label)

# Load.
with h5py.File("output.h5", "r") as f:
    loaded_buffer = f[this_dataset]
    loaded_label = f[this_dataset].attrs["label"]