【问题标题】:Does h5py read the whole file into memory?h5py 是否将整个文件读入内存? 【发布时间】:2016-11-07 16:03:28 【问题描述】: h5py 是否将整个文件读入内存? 如果是这样,如果我有一个非常非常大的文件怎么办? 如果不是,每次我想要一个数据时都从硬盘中取出数据会很慢吗?我怎样才能让它更快? 【问题讨论】: 标签: h5py 【解决方案1】: h5py 是否将整个文件读入内存? 不,它没有。特别是,切片 (dataset[50:100]) 允许您将数据集的一部分加载到内存中。详情请见h5py docs。 如果不是的话,每次想要一个数据都从硬盘取数据会不会很慢? 一般而言,hdf5 非常快。但是从内存读取显然比从磁盘读取要快。将多少数据集读入内存由您决定(dataset[:] 加载整个数据集)。 我怎样才能让它更快? 如果您想优化性能,您应该阅读sections 关于chunking 和compression。还有一个book 详细解释了这些事情(免责声明:我不是作者)。 【讨论】: 你一定是专家! 这东西其实很基础。 :-)