如何在 Python 中导入包含格式错误的引号的 csv 文件？

Question

我正在尝试加载以下 test.csv 文件：

R1C1    R1C2    R1C3
R2C1    R2C2    R2C3
R3C1    "R3C2   R3C3
R4C1    R4C2    R4C3

...使用这个 Python 脚本：

import csv


 with open("test.csv") as f:
      for row in csv.reader(f, delimiter='\t'):
          print(row)

我得到的结果如下：

['R1C1', 'R1C2', 'R1C3']
['R2C1', 'R2C2', 'R2C3']
['R3C1', 'R3C2\tR3C3\nR4C1\tR4C2\tR4C3\n']

原来当Python找到首字符为引号且没有右引号的字段时，会将以下所有内容作为同一个字段的一部分。

我的问题：正确读取文件中所有行的最佳方法是什么？请考虑我使用的是 Python 3.8.5，脚本应该能够读取大文件（2gb 或更多），因此还应考虑内存使用和性能问题。

谢谢！

Answer 1

老实说，如果您要处理这么多数据，最好先进去清理一下。如果可能的话，首先修复任何产生不良数据的过程。

我还没有测试过大文件，但你可以在阅读行时替换 " 字符，假设它们永远不会是有效字符：

import csv


with open("test.csv") as f:
    line_generator = (line.replace('"', '') for line in f)
    for row in csv.reader(line_generator, delimiter='\t'):
        print(row)

输出：

['R1C1', 'R1C2', 'R1C3']
['R2C1', 'R2C2', 'R2C3']
['R3C1', 'R3C2', 'R3C3']
['R4C1', 'R4C2', 'R4C3']