行在 python csv 阅读器中包含 NULL 字节错误

Question

我正在尝试读取 csv 文件的每一行并收到“行包含 NULL 字节”错误。

reader = csv.reader(open(mycsv, 'rU'))
for line in reader:
     print(line)


Traceback (most recent call last):
  File "<stdin>", line 1, in <module
_csv.Error: line contains NULL byte

使用下面我发现我有空字节。

if '\0' in open(mycsv).read():
     print("have null byte")

解决此问题的最佳方法是什么？在所有行上替换 '\0' 吗？我每天需要处理这种文件，并且有大约 400,000 行 (1Gb) 的数据。我认为更换会大大减慢速度。

Answer 1

试试这个！

import csv 

def mycsv_reader(csv_reader): 
  while True: 
    try: 
      yield next(csv_reader) 
    except csv.Error: 
      # error handling what you want.
      pass
    continue 
  return

if __name__ == '__main__': 
    reader = mycsv_reader(csv.reader(open(mycsv, 'rU')))
    for line in reader:
        print(line)