有什么有效的方法来存储 numpy 数组

【问题标题】：is there any efficient way to store numpy array有什么有效的方法来存储 numpy 数组
【发布时间】：2021-08-16 05:44:42
【问题描述】：

我用 Numpy 数组准备了一个图像数据集我需要尽可能高效地存储它们

举个例子

对于 6 张图片，它类似于 2.2 MB

在使用 Numpy compressed format 之后，它超过了 7.5 MB

这是我想出来的

 np.savez_compressed("./img.npz",images) # array of images

任何改进的方法

【问题讨论】：

Using.npz 也可以保存压缩的 numpy 数组，但我建议您看一下 parquet 文件格式。与其他几种文件格式相比，它压缩得很好，数据读/写速度也很高，内存占用更少。
@ThePyGuy 试试看，谢谢

【解决方案1】：

尝试使用numpy的savetxt方法

from numpy import savetxt

然后您可以将其保存为 CSV 文件（文件可能很大，但下次加载时效率很高），或者您可以将其保存为简单的“.txt”文件

例子：

x = y = z = np.arange(0.0,5.0,1.0)
np.savetxt('test.csv', x, delimiter=',') # CSV
np.savetxt('test.txt', x, delimiter=',') # TXT

您也可以选择自己的分隔符。

【讨论】：