如果 dtype 为“<u4”，如何在 python 3.6 中从 hdf5 文件中获取数据数组？

Question

我想从 hdf5 文件中获取格式为 {N, 16, 512, 128} 的数据集作为 4D numpy 数组。 N 是多个具有 {16, 512, 128} 格式的 3D 数组。 我尝试这样做：

import os
import sys
import h5py as h5
import numpy as np
import subprocess
import re

file_name = sys.argv[1]
path = sys.argv[2]

f = h5.File(file_name, 'r')
data = f[path]
print(data.shape) #{27270, 16, 512, 128}
print(data.dtype) #"<u4"

data = np.array(data, dtype=np.uint32)
print(data.shape)

不幸的是，在data = np.array(data, dtype=np.uint32) 命令之后似乎代码崩溃了，因为之后什么也没发生。

我需要将此数据集检索为一个 numpy 数组，或者可能是类似的 somthng 以进行进一步计算。 如果您有任何建议，请告诉我。

Answer 1

原来你甚至不需要重塑。 这是一个访问数据集然后切片以获取数组的示例。 我认为这正是你想要的。

2020 年 4 月 30 日编辑
OP是关于uint32的。我最初的答案使用了一组浮点数。它展示了所需的行为。为了完整起见，我稍作修改以从 uint32 整数数组创建数据集。
注意：我使用了a0=100。它创建的 HDF5 文件对于浮点数为 840 MB，对于 uint32 为 416 MB。将 a0=27270 乘以 273。我没有足够的内存来一次性创建它。下面的代码显示了这个过程。

(注意：数据集是使用maxshape=None创建的，用于axis=0以允许扩展。如果您有兴趣测试更大的数据集，可以通过添加循环来修改此示例以创建更多数据并添加到末尾数据集。）

import numpy as np
import h5py

a0 = 27270
a0 = 100
a1= 16
a2 = 512
a3 = 128

f_arr = np.random.rand(a0*a1*a2*a3).reshape(a0, a1, a2, a3)
i_arr = np.random.randint(0,254, (a0, a1, a2, a3), dtype=np.uint32 )

with h5py.File('SO_61508870.h5', mode='w') as h5w:
     h5f.create_dataset('array1', data=i_arr, maxshape=(None, a1, a2, a3) )

with h5py.File('SO_61508870.h5', mode='r') as h5r:
     data_ds = h5r['array1']
     print ('dataset shape:', data_ds.shape)
     for i in range(5):
         sliced_arr = data_ds[i,:,:,:]
         print ('array shape:', sliced_arr.shape)

Answer 2

我在编写/获取<u4 和np.uint32 时没有问题：

In [14]: import h5py                                                                                   
In [15]: f=h5py.File('u4.h5','w')                                                                      
In [16]: ds = f.create_dataset('data', dtype='<u4', shape=(10,))                                       
In [17]: ds                                                                                            
Out[17]: <HDF5 dataset "data": shape (10,), type "<u4">
In [18]: ds[:]                                                                                         
Out[18]: array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0], dtype=uint32)
In [19]: ds[:] = np.arange(-5,5)                                                                       
In [20]: ds                                                                                            
Out[20]: <HDF5 dataset "data": shape (10,), type "<u4">
In [21]: ds[:]                                                                                         
Out[21]: array([0, 0, 0, 0, 0, 0, 1, 2, 3, 4], dtype=uint32)
In [22]: np.array(ds, dtype='uint32')                                                                  
Out[22]: array([0, 0, 0, 0, 0, 0, 1, 2, 3, 4], dtype=uint32)
In [23]: f.close()     

您可能遇到了内存限制。尝试创建该大小的数组时出现内存错误：

In [24]: np.zeros((27270, 16, 512, 128),np.uint32);                                                    
---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-24-2cfe704044b6> in <module>
----> 1 np.zeros((27270, 16, 512, 128),np.uint32);

MemoryError: Unable to allocate 107. GiB for an array with shape (27270, 16, 512, 128) and data type uint32

您可能仍然可以加载data 的切片，例如data[0:100].