从 csv 导入包含列表的字典

Question

我有一个包含列表作为值的字典（见下文），并希望将其保存到 csv。到目前为止，保存工作正常，但是当我将其读回程序时，我得到以下结果，其中两个列表 [1,2,3] 和 [4,5,6] 不再是列表，而是字符串 ( “[1,2,3]”和“[4,5,6]”）。

如何将 csv 中的列表加载为列表而不是字符串？这样我就可以再次访问列表中的元素，而不是单个字符（见下文）。

nodes = []

test_list = [{'Key' : 'key1', 'List' : [1,2,3]}, 
        {'Key' : 'key2', 'List' : [4,5,6]}]

with open('list.csv', 'wb') as f:
    writer = csv.DictWriter(f, test_list[0].keys(), delimiter=';')
    writer.writeheader()
    for entry in test_list:
        writer.writerow(entry)

with open('list.csv') as f:
    dataset = csv.DictReader(f, delimiter=';')
    for row in dataset:
        nodes.append(row)

for elem in nodes:
    print elem

结果：

{'Key': 'key1', 'List': '[1, 2, 3]'}
{'Key': 'key2', 'List': '[4, 5, 6]'}

问题：

所以现在列表是字符串，我无法访问列表中的数字，因为它现在是一个字符列表。

>> print nodes[0]['List'][0] # print first number from list in first dictionary
[

有人可以帮助我或为我提供替代方案吗？ 提前非常感谢！

Answer 1

CSV 并不是真正用于以这种方式存储嵌套列表。您可以使用eval，但这是一个相当大的安全问题，因为它允许人们在您的计算机上运行代码，例如，如果您让人们将他们的文件上传到您的服务器。相反，我建议您将字典存储为 JSON 对象。这将处理以后可能出现的许多特殊情况。

import json

test_list = [{'Key' : 'key1', 'List' : [1,2,3]}, 
        {'Key' : 'key2', 'List' : [4,5,6]}]

with open('/tmp/test_list.json', 'w') as f:
    json.dump(test_list, f)

然后加载它：

with open('/tmp/test_list.json') as f:
    test_list = json.load(f)

Answer 2

我会用泡菜

import pickle

test_list = [{'Key' : 'key1', 'List' : [1,2,3]},
                {'Key' : 'key2', 'List' : [4,5,6]}]

pickle.dump(test_list,open('list.p','wb'))
test_list = pickle.load(open('list.p','rb'))
print test_list

>>> [{'List': [1, 2, 3], 'Key': 'key1'}, {'List': [4, 5, 6], 'Key': 'key2'}]

Answer 3

我同意@Jimmy 的观点：CSV 不太适合存储列表。正如他所建议的那样，切换到 JSON 是最好的现成解决方案。

如果由于某种原因您不能或不想切换到 JSON，您应该自己打包您的列表，以便它们可以作为 CSV 中的单个单元格存储和检索，并自行处理解包。 如果你所有的列表数据都是整数列表，你可以像这样打包和解包它们：

...
for entry in test_list:
    entry["List"] = ",".join( str(n) for n in entry["List"] )
    writer.writerow(entry)

# Reading in
for row in csv.DictReader(f, delimiter=';'):
    row["List"] = [ int(n) for n in row["List"].split(",") ]
    nodes.append(row)

因为你使用了“;”作为 CSV 中的字段分隔符，我使用“，”作为列表分隔符。如果您的作者正确引用，这不是必需的，但它更简洁。

Answer 4

这里的根本问题是 CSV 只存储字符串。因此，将list 放入 CSV 单元格本质上意味着自动将该列表字符串化，然后强制您再次解析它。

如果列表真的只是一个整数列表，literal_eval 将起作用。 （并且列表应该是只是一个整数列表，但结果实际上是不同的——无论是因为错误，还是因为恶意用户——它'会给你一个很好的错误，而不是默默地做一些危险的事情或引发一些没有意义的令人困惑的异常。）但这很少是一个好主意。 Python 的repr 并不意味着是一种数据序列化或交换格式；它旨在成为一种帮助人类程序员理解其数据的格式。

本教程的Input/Output 章节解释了 用于数据序列化和交换的选项：stdlib 中的json、pickle 和csv*。或者你可以求助于第三方模块，如PyYAML，或者将东西存储在数据库中等。如果你了解了每个模块的优缺点，json 在这种情况下是显而易见的答案，如Jimmy C's answer演示。

---

_{* 是的，您可以在 CSV 文件的一行中使用逗号分隔值列表，只要您使用不同的分隔符，或者允许 csv 引用内容。请参阅alexis's answer 了解一种简单的方法，或者搜索 ActiveState 配方以找到一种奇特的方式来使用 csv.writer 和 csv.reader 递归地存储 2 级列表列表。但通常，您不想这样做； JSON 具有任意递归的优点，而不仅仅是 2 级递归，而且更大的优点是易于使用。}