基于python中的模板头合并多个csv文件

Question

我有多个 csv 文件，它们都具有或多或少相同的标题。有些可能有所有标题，有些可能没有所有标题。 我想使用一个只有标题的通用 csv 文件并将它们全部合并。

示例标题：

a, b, c, d, e, f,

文件 1：

a, b, d,
1, 2, 3,

文件 2：

a, b, c, e,
4, 5, 6, 7,

合并结果：

a, b, c, d, e, f,
1, 2,  , 3,
4, 5, 6,  , 7,  ,

到目前为止，我被指出使用 csv.DictReader、csv.DictWriter。 但是我在基于通用标题进行合并并保持标题顺序时遇到了麻烦。无论如何我仍然可以使用它们而不是对其进行排序吗？

我尝试了 pandas 合并功能，但它需要一个排序依据，我的数据不包含。

感谢任何帮助。 谢谢

Answer 1

所以我决定帮你创建一个类来做。它返回一个生成器，您可以对其进行迭代以构建最终文件。

import csv
class DataFile(object):
    empty = ''  # use this if col does not have value

    def __init__(self, filename):
        f = open(filename, 'r')
        self.reader = csv.reader(f)
        # set first line as header
        self.header = [x.strip() for x in self.reader.next()]

    def get_header(self):
        return self.header

    def with_header(self, headers):
        """ Returns a generator for specified headers"""
        header_dict = dict([(a, i,) for i, a in enumerate(self.header)])

        for line in self.reader:
            li = []
            for h in headers:
                if h in header_dict:
                    li.append(line[header_dict[h]])
                else:
                    li.append(self.empty)
            yield li

您可以使用它来加入文件：file1.csv 和 file2.csv，因此：

>>> one = DataFile('file1.csv')
>>> two = DataFile('file2.csv')
>>> one.get_header()
['a', 'b', 'd', '']
>>> comb = set(one.get_header() + two.get_header())
>>> final = list(one.with_header(comb)) + list(two.with_header(comb))
>>> final
[['1', '', '', ' 2', '', ' 3'], ['4', '', ' 6', ' 5', ' 7', '']]

然后，您可以使用 comb 和 final 构建新的 csv 文件（使用 csv 编写器等）。此外，您可以构建一个接收多个文件的函数，并仅返回包含所有文件中的所有列的新生成器等。当值不在文件中时，通过修改 empty 属性来修改正在设置的字符。我认为这很容易理解