【问题标题】:Does h5py read the whole file into memory?h5py 是否将整个文件读入内存?
【发布时间】:2016-11-07 16:03:28
【问题描述】:

h5py 是否将整个文件读入内存?

如果是这样,如果我有一个非常非常大的文件怎么办?

如果不是,每次我想要一个数据时都从硬盘中取出数据会很慢吗?我怎样才能让它更快?

【问题讨论】:

    标签: h5py


    【解决方案1】:

    h5py 是否将整个文件读入内存?

    不,它没有。特别是,切片 (dataset[50:100]) 允许您将数据集的一部分加载到内存中。详情请见h5py docs

    如果不是的话,每次想要一个数据都从硬盘取数据会不会很慢?

    一般而言,hdf5 非常快。但是从内存读取显然比从磁盘读取要快。将多少数据集读入内存由您决定(dataset[:] 加载整个数据集)。

    我怎样才能让它更快?

    如果您想优化性能,您应该阅读sections 关于chunkingcompression。还有一个book 详细解释了这些事情(免责声明:我不是作者)。

    【讨论】:

    • 你一定是专家!
    • 这东西其实很基础。 :-)
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-03-29
    • 2020-07-14
    • 2017-06-16
    • 2017-02-08
    • 1970-01-01
    • 2019-04-12
    • 2017-02-21
    相关资源
    最近更新 更多