拆分列号不一致的 csv 文件

Question

我有一个格式如下的 CSV 文件，除了大约 2000 万行：

A,B,C,D
1,2,3,4
1,1,3,4
1,0,0,1,4,3
1,0,5,6,2,1

我尝试用这样的熊猫阅读：

df = pd.read_csv(_out_path, sep=',', engine='c') # engine c because it's faster

这会导致以下错误：

ParserError: Error tokenizing data. C error: Expected 18 fields in line 13674206, saw 31

使用上面的测试文件，pandas 会处理这个问题，并添加两个未命名的列，其中前两行包含 np.NAN。

A   B   C   D   Unnamed: 4  Unnamed: 5
0   1   2   3   4   NaN NaN
1   1   1   3   4   NaN NaN
2   1   0   0   1   4.0 3.0
3   1   0   5   6   2.0 1.0

但是，对于真实文件（很遗憾，我无法共享），它会导致上述错误。

我正在寻找一种解决方法，方法是找到逗号最多的行，计算逗号的 Nr 并根据需要在每一行附加尽可能多的逗号，以便 pandas 读取文件。 或者理想情况下是一种更简单的方式来读取文件。

---

编辑：

数据已从数百个 CSV 文件中连接起来，但在中间添加了新列（不幸的是，最后不是全部）。 因此，一个好的解决方案（感谢 cmets）是拆分条目 nr 更改的文件。

此外，文件中没有标题。我尝试在此示例的第一行手动添加它们，所以我想我必须在拆分文件后添加标题。

Answer 1

为了获得干净的数据集，最好将它们拆分为单独的文件。

如果列数只增不减，您可以使用字典轻松跟踪不​​同的目标文件：

source_file = open('mixed_data.csv', 'r')

destination_files = {}

for line in source_file:
    item_count = len(line.split(','))

    try:
        dest_file = destination_files[item_count]

    except KeyError:
        file_name = 'split_data_' + str(item_count) + '.csv'
        dest_file = destination_files[item_count] = open(file_name, 'w')

    dest_file.write(line)

for dest_file in destination_files.values():
    dest_file.close()

source_file.close()

如果程序在此之后立即结束或者文件对象绑定的范围被留下，则关闭不是绝对必要的，但无论如何这是一个好习惯。