CSV阅读器（Python）中的“行包含NULL字节”

Question

我正在尝试编写一个查看 .CSV 文件 (input.csv) 并仅重写以某个元素 (corrected.csv) 开头的行的程序，如文本文件 (output.txt )。

这是我的程序现在的样子：

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

不幸的是，我不断收到此错误，我不知道它是关于什么的。

Traceback (most recent call last):
  File "C:\Python32\Sample Program\csvParser.py", line 12, in <module>
    for row in reader:
_csv.Error: line contains NULL byte

感谢所有here 的人，甚至让我走到了这一步。

Answer 1

我用更简单的方法解决了一个类似的问题：

import codecs
csvReader = csv.reader(codecs.open('file.csv', 'rU', 'utf-16'))

关键是使用编解码器模块打开UTF-16编码的文件，还有很多编码，查看documentation。

Answer 2

我猜你在 input.csv 中有一个 NUL 字节。您可以使用

进行测试

if '\0' in open('input.csv').read():
    print "you have null bytes in your input file"
else:
    print "you don't"

如果你这样做，

reader = csv.reader(x.replace('\0', '') for x in mycsv)

可能会帮助您解决这个问题。或者它可能表明您在 .csv 文件中有 utf16 或“有趣”的内容。

Answer 3

如果你想用一些东西替换空值，你可以这样做：

def fix_nulls(s):
    for line in s:
        yield line.replace('\0', ' ')

r = csv.reader(fix_nulls(open(...)))

Answer 4

如果你想假装它们不存在，你可以只内联一个生成器来过滤掉空值。当然，这是假设空字节并不是真正的编码的一部分，并且确实是某种错误的工件或错误。

请参阅下面的(line.replace('\0','') for line in f)，您可能还想使用模式rb 打开该文件。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'rb') as mycsv:
        reader = csv.reader( (line.replace('\0','') for line in mycsv) )
        for row in reader:
            if row[0] not in lines:
                writer.writerow(row)

Answer 5

这将告诉您问题所在。

import csv

lines = []
with open('output.txt','r') as f:
    for line in f.readlines():
        lines.append(line[:-1])

with open('corrected.csv','w') as correct:
    writer = csv.writer(correct, dialect = 'excel')
    with open('input.csv', 'r') as mycsv:
        reader = csv.reader(mycsv)
        try:
            for i, row in enumerate(reader):
                if row[0] not in lines:
                   writer.writerow(row)
        except csv.Error:
            print('csv choked on line %s' % (i+1))
            raise

也许来自 daniweb 的 this 会有所帮助：

从 csv 文件读取时出现此错误：“运行时错误！ 行包含 NULL 字节”。有关此错误的根本原因的任何想法？

...

好的，我明白了，我想我会发布解决方案。简直让我 悲伤... 用过的文件以 .xls 格式保存，而不是 .csv 没有 抓住这一点，因为文件名本身具有 .csv 扩展名，而 类型仍然是 .xls

Answer 6

一个棘手的方法：

如果你在Lunux下开发，你可以使用sed的所有力量：

from subprocess import check_call, CalledProcessError

PATH_TO_FILE = '/home/user/some/path/to/file.csv'

try:
    check_call("sed -i -e 's|\\x0||g' {}".format(PATH_TO_FILE), shell=True)
except CalledProcessError as err:
    print(err)    

大文件最有效的解决方案。

检查了 Python3、Kubuntu

Answer 7

我最近解决了这个问题，在我的例子中，它是一个我试图读取的压缩文件。首先检查文件格式。然后检查内容是否是扩展名所指的内容。

Answer 8

将我的 linux 环境变成一个干净完整的 UTF-8 环境对我来说是个窍门。 在命令行中尝试以下操作：

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

Answer 9

这早就解决了，但我遇到了这个答案，因为我在读取 CSV 以在 Keras 和 TensorFlow 中将其作为训练数据处理时遇到了意外错误。

就我而言，问题要简单得多，值得引起注意。生成到 CSV 中的数据不一致，导致某些列完全丢失，这似乎最终也会引发此错误。

教训：如果您看到此错误，请验证您的数据是否与您认为的一样！

Answer 10

pandas.read_csv 现在在读/写时处理不同的 UTF 编码，因此可以直接处理 null 字节

data = pd.read_csv(file, encoding='utf-16')

见https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html

Answer 11

很简单。

不要通过“创建新的 excel”来制作 csv 文件或从窗口另存为“.csv”。

只需导入 csv 模块，编写一个虚拟 csv 文件，然后将数据粘贴到其中。

python csv 模块本身制作的csv 将不再显示编码或空行错误。