【问题标题】:Is it possible to store multiple groups and arrays in a single file?是否可以在单个文件中存储多个组和数组?
【发布时间】:2021-06-17 22:42:21
【问题描述】:

我一直在使用 HDF5 存储时间序列数据,由于 Zarr 的各种功能,我想尝试使用它。

我正在阅读它的教程并遵循每个步骤,我意识到可能 Zarr 使用文件系统上的目录而不是单个文件和其中的层次结构?

例如,当我这样做时:

root = zarr.open('group.zarr', mode='w')
foo = root.create_group('foo')
bar = foo.create_group('bar')
z1 = bar.zeros('baz', shape=(10000, 10000), chunks=(1000, 1000), dtype='i4')

我认为将创建一个名为 group.zarr 的文件,其中包含 2 个组。实际上,它会创建 3 个连续的本地目录。

我更喜欢将数组保存在单个文件中。是否也可以像 HDF5 那样使用 Zarr 在单个文件中创建多个组和数组?

【问题讨论】:

  • Zarr 数组通常存储在多个文件中,即使您不创建组也是如此。这就是它所说的“分块”的意思。这是您在云优化文件格式中看到的很多东西,而不是旧格式,因为它使并行访问更加自然。

标签: zarr


【解决方案1】:

Zarr 目录可以一起压缩成一个 Zip 文件:

7z a -tzip archive.zarr.zip archive.zarr/.

ZipStore 然后可用于读取单个文件,尽管这应该为来自zarr.open() 的用户传输。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-07-19
    • 2014-04-30
    • 2022-06-27
    • 2017-12-11
    • 2021-04-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多