【发布时间】:2021-06-17 22:42:21
【问题描述】:
我一直在使用 HDF5 存储时间序列数据,由于 Zarr 的各种功能,我想尝试使用它。
我正在阅读它的教程并遵循每个步骤,我意识到可能 Zarr 使用文件系统上的目录而不是单个文件和其中的层次结构?
例如,当我这样做时:
root = zarr.open('group.zarr', mode='w')
foo = root.create_group('foo')
bar = foo.create_group('bar')
z1 = bar.zeros('baz', shape=(10000, 10000), chunks=(1000, 1000), dtype='i4')
我认为将创建一个名为 group.zarr 的文件,其中包含 2 个组。实际上,它会创建 3 个连续的本地目录。
我更喜欢将数组保存在单个文件中。是否也可以像 HDF5 那样使用 Zarr 在单个文件中创建多个组和数组?
【问题讨论】:
-
Zarr 数组通常存储在多个文件中,即使您不创建组也是如此。这就是它所说的“分块”的意思。这是您在云优化文件格式中看到的很多东西,而不是旧格式,因为它使并行访问更加自然。
标签: zarr