Python 有什么好的临时存储和传输格式？

Question

我正在用 Python 编写一个脚本，它将吐出一些组织为字典列表的数据：

[{'name': 'first_thing', 'color': 'blue', 'flavour': 'watermelon' },
 {'name': 'second_thing', 'color': 'red' },
 {'name': 'third_thing', 'color': 'blue', 'size': 'huge!' }]

我正在尝试决定一种将这些数据存储在文件中的方法。我的考虑：

1. 我希望它易于阅读和编写，因此我可以将数据加载回脚本并进一步操作。
2. 我希望它是一种非 python 特定的格式。也许以后我会想在 PHP 或其他东西中使用这些数据，谁知道呢？
3. 我希望它是一种易于附加更多数据的格式。如果我的文件有一个包含 1000 个小 dict 项的列表，我不想将所有 1000 个项加载到内存中，只是为了在末尾再添加一个项。

我的第一次尝试是使用 Pickle，它符合简单的标准，但它依赖于 Python，我必须取消腌制、附加，然后重新腌制。

我认为其他似乎可行的格式（但我反对）：

• JSON（可能会很烦人）
• 搁置（特定于 python）
• CSV（类似于胶带，不那么优雅，但它可能会起作用）
• 类似 sqlite 之类的轻量级数据库（这里可能太花哨了）

有人对这些或其他格式有任何论据吗？

Answer 1

泡菜应该可以正常工作。 直接存储字典（而不是在列表中）以使附加更容易：

>>> from pickle import dump, load
>>> f = open('stor.bin', 'w')
>>> dump(dict(a=1), f)
>>> dump(dict(b=2), f)
>>> dump(dict(c=3), f)
>>> f.close()

在后续会话中，将另一个 dump() 直接附加到文件末尾：

>>> f = open('store.bin', 'a')
>>> dump(dict(d=4), f)
>>> f.close()   

要读取，只需重复执行 load() 直到到达文件末尾：

>>> f = open('stor.bin', 'r')
>>> load(f)
{'a': 1}
>>> load(f)
{'b': 2}
>>> load(f)
{'c': 3}
>>> load(f)
{'d': 4}
>>> load(f)

Traceback (most recent call last):
   ...
EOFError

Answer 2

鉴于您稍后需要附加数据，YAML 可能是您正在寻找的格式。它被明确设计为支持附加的数据元素（例如日志文件），json 故意是该语言的适当子集，并且它具有一些有用的元标记，专为自定义类的强大跨语言序列化而设计。

Answer 3

对于大多数情况，我认为 JSON 应该是您最好的选择。

使用 simplejson 将您的 list 的 dict 转换为 JSON，这将非常简单：

import simplejson as json
my_list = [{'name': 'first_thing', 'color': 'blue', 'flavour': 'watermelon'}, {'name': 'second_thing','color': 'red' }, {'name': 'third_thing', 'color': 'blue', 'size': 'huge!'}]
output = json.dumps(my_list, ident=4)

结果 JSON 将是：

[
    {
        "color": "blue",
        "flavour": "watermelon",
        "name": "first_thing"
    },
    {
        "color": "red",
        "name": "second_thing"
    },
    {
        "color": "blue",
        "name": "third_thing",
        "size": "huge!"
    }
]

现在，这个 JSON 是一个完全有效的 JSON 字符串。

这是一个JSON array。所以我认为你不需要做一个黑客来删除“[”和“]”。由于您将 python 列表传递给 simplejson，因此您将返回一个 JSON 列表。

Answer 4

从您的示例数据 sn-p 来看，您的数据确实看起来比更复杂的格式更适合表格格式。如果您的 dicts 的键是事先知道的，并且在每个条目中都使用过，我认为 CSV 是正确的选择。 Python 也有一个 csv 模块可以让这更容易。