如何以尽可能低的重量保存文件

Question

我正在尝试使用 pickle 将一些数据保存到文件中。 我的起始列表格式如下：

 a1 = [[190, 187, 27, 24, 4, 1, 0, 2, 6, 9, 60, 62], [190, 187, 27, 24, 4, 1, 0, 2, 6, 9, 61, 65], [190, 187, 27, 24, 4, 1, 0, 2, 6, 9, 60, 63], [190, 187, 27, 24, 4, 1, 0, 2, 6, 9, 61, 65], [190, 187, 27, 24, 4, 1, 0, 2, 6, 8, 48, 50], [190, 187, 27, 24, 4, 1, 0, 2, 6, 9, 61, 64], [190, 187, 27, 24, 4, 1, 0, 2, 6, 8, 48, 51]]

只保留子列表中的第一个和最后一个数字后：

a2 = [[190, 62], [190, 65], [190, 63], [190, 65], [190, 50], [190, 64], [190, 51]]

在我的 base-32 编码之后：

a3 = [['5x', '1x'], ['5x', '21'], ['5x', '1c'], ['5x', '21'], ['5x', '1o'], ['5x', '20'], ['5x', '1p']]

列表“a1”的文件有 224 个字节，列表“a2”有 84 个字节，列表“a3”有 182 个字节。为什么“a3”列表的文件比“a2”列表的文件大？引号会放大文件吗？ 在我看来，例如，“5x”将花费不到“190”，同时会减少整个文件的重量。还有其他更有效的方法可以将此类数据存储在文件中吗？

Answer 1

增加大小的不是引号，而是它是一个字符串，因此必须这样表示 - 腌制时，通过 optcodes。

Pickle 也不是真的要非常节省空间（甚至是快速），除非您在酸洗时至少使用 protocol=2。

如果您在存储字符串时需要最小大小（不压缩），那么 CSV 应该这样做：

import csv

a3 = [['5x', '1x'], ['5x', '21'], ['5x', '1c'], ['5x', '21'], ['5x', '1o'],
      ['5x', '20'], ['5x', '1p']]

with open("saved_data.csv", "wt", newline="") as f:
    writer = csv.writer(f)
    writer.writerows(a3)

这将生成一个 49 字节的 CSV 文件 (saved_data.csv)，如果不进行压缩，您将无法低于该文件。相比之下，即使使用protocol=4 进行酸洗，该数据也会占用 93 个字节。