如何将大量 ndarray 写入文件，其中每个 ndarray 保存在一行中？

Question

我有很多 ndarray 对象要保存。我想一个一个地保存这些 ndarray，这意味着每个 ndarray 都保存在文件中的一行中。我发现 np.savez 似乎对这种情况没有用。我怎样才能做到这一点？谢谢！

我试过这样的方式：

当保存这些 ndarray 时，

with open(file, 'a') as f:
  for i in range(n)
    f.write(str(ndarry[i].tostring()) + '\n')

当加载和恢复它们时，

list_array = []
with open(file, 'a') as f:
  line = f.reanline().strip('\n')
  while line
    ndarray = np.fromstring(line, dtype=np.int64).reshape((2,3))
    list_array.append(ndarray)
    line = f.reanline().strip('\n')

但我得到“ValueError：字符串大小必须是元素大小的倍数”

Answer 1

您是否尝试仅针对一个阵列调试行写入/读取？详细看步骤？

In [568]: arr = np.arange(3)                                                                           
In [569]: arr                                                                                          
Out[569]: array([0, 1, 2])
In [570]: arr.tostring()                                                                               
Out[570]: b'\x00\x00\x00\x00\x00\x00\x00\x00\x01\x00\x00\x00\x00\x00\x00\x00\x02\x00\x00\x00\x00\x00\x00\x00'

b 告诉我们这是一个字节串（就像旧的 py2 字符串）。然后你将它“包装”在 py3 字符串中：

In [571]: str(arr.tostring())+'\n'                                                                     
Out[571]: "b'\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x00\\x00\\x00\\x00\\x00\\x00\\x00'\n"

现在尝试阅读：

In [572]: _.strip('\n')                                                                                
Out[572]: "b'\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x01\\x00\\x00\\x00\\x00\\x00\\x00\\x00\\x02\\x00\\x00\\x00\\x00\\x00\\x00\\x00'"
In [573]: np.fromstring(_, np.int64)                                                                   
/usr/local/bin/ipython3:1: DeprecationWarning: The binary mode of fromstring is deprecated, as it behaves surprisingly on unicode inputs. Use frombuffer instead
  #!/usr/bin/python3
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-573-fa8feb7879b7> in <module>
----> 1 np.fromstring(_, np.int64)

ValueError: string size must be a multiple of element size

我可以从tostring 输出中恢复原始数组：

In [574]: np.frombuffer(arr.tostring(), np.int64)                                                      
Out[574]: array([0, 1, 2])

所有用于将二进制字符串写入文件的 str 和换行符都会破坏读取。