Python：使用多个标题行写入 CSV

Question

上下文

我希望导出一个字典，其中包含字典列表作为每个 key:value 对的值：

dict = {'key_1':
        [{'key_a': foo_1, 'key_b': bar_1}, 
         {'key_a': foo_2, 'key_b': bar_2}], 
        'key_2':
        [{'key_c': foo_1, 'key_d': bar_1}], 
         {'key_c': foo_2, 'key_d': bar_2}] 
        ...}

所需的输出将是一个 .csv 文件，其中包含第一个字典的键（key_1、key_2 等）作为第一个标题行，然后是嵌套字典的键（key_a、key_b 等） , 作为对应于其各自键的第二个标题行。

所需输出的示例如下所示，其中列表索引列引用存储在字典列表中每个相应索引处的字典中的数据：

╔════════════╦═══════════════╤═══════════════╗
║            ║     key_1     │     key_2     ║
║ List Index ╠═══════╤═══════╪═══════╤═══════╣
║            ║ key_a │ key_b │ key_c │ key_d ║
╠════════════╬═══════╪═══════╪═══════╪═══════╣
║     0      ║ foo_1 │ bar_1 │ foo_1 │ bar_1 ║
╟────────────╫───────┼───────┼───────┼───────╢
║     1      ║ foo_2 │ bar_2 │ foo_2 │ bar_2 ║
╟────────────╫───────┼───────┼───────┼───────╢
║     2      ║ foo_3 │ bar_3 │ foo_3 │ bar_3 ║
╚════════════╩═══════╧═══════╧═══════╧═══════╝

平台： 树莓派 3b+、Python 3.6

---

代码

目前，我正在研究执行此操作的不同选项，因此没有任何接近工作的连贯代码。但是，按照优先顺序，我正在考虑以下几个选项：

• 使用 pandas 形成一个反映所需表性质的数组。然后直接将其写入 CSV。

• 从上述字典数据结构写入 CSV。

  import csv
  
  field_names = dict.keys()
  header2 = {'%s' %dict.keys() : dict[key_1][0].keys()}
  
  with open('project_data.csv', 'a') as csvfile:
      writer = csv.DictWriter(csvfile, fieldnames=field_names)
      writer.writeheader()  # Write header row containing the top field names
      writer.writerow(header2)  #Write row containing the second field names
  

  显然，此代码需要进一步开发以使其按预期工作。

• 另一种我没有考虑过的方法？

  ---

问题

以这种格式写入 CSV 的最佳方法是什么？

Answer 1

到目前为止，我已经到达这里：

d = {'key_1':
    [{'key_a': 'foo_1', 'key_b': 'bar_1'}, 
     {'key_a': 'foo_2', 'key_b': 'bar_2'}], 
    'key_2':
    [{'key_c': 'foo_1', 'key_d': 'bar_1'}, 
     {'key_c': 'foo_2', 'key_d': 'bar_2'}]}
df = pd.DataFrame(d)
df1 = []
for col in df.columns:
    data = df[col].apply(pd.Series)
    data = df1.append(data)
df1 = pd.concat(df1,axis=1)
print(df1)

给你：

  key_a   key_b    key_c     key_d
0 foo_1   bar_1    foo_1     bar_1 
1 foo_2   bar_2    foo_2     bar_2 

剩下的，你必须将相应的键映射到你的原始列名，并且可以将 tat 作为标识符放在 df1.loc[-1] 中。一旦我得到一些东西，我会更新。

Answer 2

您的“列表索引”是一个合并单元格，您无法在 CSV 文件中实现，因为它不包含格式。您可以：

a) 将其写入 xlsx 文件（XlsxWriter 是一个很棒的库）

b) 保持它是 CSV，但按照 anky_91 的建议，使用未合并的单元格

Answer 3

这是为包含字典和字典列表的字典创建 DictWriter() 的 fieldnames 的解决方案。

您需要遍历结构并生成 fieldnames 以及具有这些新名称的新 dict：

#!/usr/bin/env python3
import csv
import pprint as pp

myDict = {'key_1':
        [{'key_a': 'foo_1', 'key_b': 'bar_1'}, 
         {'key_a': 'foo_2', 'key_b': 'bar_2'}], 
        'key_2':
        [{'key_c': 'foo_1', 'key_d': 'bar_1'}, 
         {'key_c': 'foo_2', 'key_d': 'bar_2'}] }

def generateFieldnames(myDict):
    # create unique fieldnames from a dictionary containing dictionaries
    newDict={}
    fieldnames=[] # DictWriter will create a .csv with these header names
    
    for k,v in myDict.items():
        
        # is a dictionary?
        if (type(v) is dict):
            for kk,vv in v.items():
                print('k={0}, kk={1}, vv={2}'.format(k,kk,vv))
                name='{0}_{1}'.format(k,kk)
                fieldnames.append(name)
                newDict[name]=vv
                
        elif (type(v) is list):
            for item in range(len(v)):
                listItem=v.pop()
                if (type(listItem) is dict):
                    for kk,vv in listItem.items():
                        name='{0}_{1}'.format(k,kk)
                        fieldnames.append(name)
                        newDict[name]=vv
        
        else:
            print('k=[{0}] , v=[{1}]'.format(k,v))
            fieldnames.append(k)
            newDict[k]=v
    
    return fieldnames, newDict


# create fieldnames from the dictionary with lists and dictionaries
fieldnames, newDict=generateFieldnames(myDict)
pp.pprint(fieldnames)
print('\n')
pp.pprint(fieldnames)
print('\n\n')

# write a sample .csv with fieldnames as headers
fd = open('mytest.csv','a')
dw = csv.DictWriter( fd, fieldnames=fieldnames)

dw.writeheader() # write the header row

dw.writerow( newDict )
dw.writerow( newDict )
dw.writerow( newDict )

fd.close()

结果可见文件mytest.csv:

key_1_key_a,key_1_key_b,key_1_key_a,key_1_key_b,key_2_key_c,key_2_key_d,key_2_key_c,key_2_key_d
foo_1,bar_1,foo_1,bar_1,foo_1,bar_1,foo_1,bar_1
foo_1,bar_1,foo_1,bar_1,foo_1,bar_1,foo_1,bar_1
foo_1,bar_1,foo_1,bar_1,foo_1,bar_1,foo_1,bar_1