_csv.Error：字段大于字段限制 (131072)

Question

我在一个包含非常大字段的 csv 文件中读取了一个脚本：

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

但是，这会在某些 csv 文件上引发以下错误：

_csv.Error: field larger than field limit (131072)

如何分析包含大字段的 csv 文件？跳过包含大量字段的行不是一种选择，因为需要在后续步骤中分析数据。

Answer 1

.csv 字段大小通过 [Python 3.Docs]: csv.field_size_limit([new_limit]) 控制（强调是我的）：

返回解析器允许的当前最大字段大小。 如果给出 new_limit，这将成为新的限制。

默认设置为 131072 或 0x20000 (128k) ，对于任何体面的 .csv 来说应该足够了：

>>> import csv
>>>
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

但是，当处理一个 .csv 文件（使用正确的引用和分隔符）时，（至少）一个字段长于这个大小，错误会弹出.
为了消除错误，应该增加大小限制（为避免任何担忧，尝试最大可能值）。

在幕后（查看[GitHub]: python/cpython - (master) cpython/Modules/_csv.c了解实现细节），保存这个值的变量是一个C long（[Wikipedia]: C data types），其大小因 CPU 架构和 OS (ILP) 而异。经典的区别：对于 64bit OS（和 Python 构建），long 类型大小（以位为单位）为：

• 尼克斯：64
• 赢：32

当试图设置它时，新值被检查为在 long 边界内，这就是为什么在某些情况下会弹出另一个异常（因为 sys.maxsize 是通常 64 位 宽 - 在 Win 上遇到）：

>>> import sys, ctypes as ct
>>>
>>>
>>> sys.platform, sys.maxsize, ct.sizeof(ct.c_void_p) * 8, ct.sizeof(ct.c_long) * 8
('win32', 9223372036854775807, 64, 32)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

为避免遇到此问题，请设置（最大可能）限制 (LONG_MAX)，使用技巧（感谢 @987654324 @)。它应该可以在任何 CPU / OS 上的 Python 3 和 Python 2 上运行。

>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

64 位 Python 在像 OS 这样的 Nix 上：

>>> import sys, csv, ctypes as ct
>>>
>>>
>>> sys.platform, sys.maxsize, ct.sizeof(ct.c_void_p) * 8, ct.sizeof(ct.c_long) * 8
('linux', 9223372036854775807, 64, 64)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

对于 32 位 Python，无需任何技巧（如 sys.maxsize 和 LONG_MAX 32 位 宽）。
如果这个最大值仍然不够，那么 .csv 需要人工干预才能从 Python 进行处理。

查看以下资源了解更多详情：

• 在 Python 中使用 C 类型边界：[SO]: Maximum and minimum value of C types integers from Python (@CristiFati's answer)
• Python 32bit vs 64bit 区别：[SO]: How do I determine if my python shell is executing in 32bit or 64bit mode on OS X? (@CristiFati's answer)

Answer 2

您可以使用pandas 中的read_csv 跳过这些行。

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Answer 3

csv 文件可能包含非常大的字段，因此增加field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsize 适用于 Python 2.x 和 3.x。 sys.maxint 仅适用于 Python 2.x (SO: what-is-sys-maxint-in-python-3)

更新

正如 Geoff 所指出的，上面的代码可能会导致以下错误：OverflowError: Python int too large to convert to C long。 为了避免这种情况，您可以使用以下快速而肮脏的代码（它应该适用于每个使用 Python 2 和 Python 3 的系统）：

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Answer 4

我刚刚在“普通”CSV 文件中遇到了这种情况。有些人可能会称其为无效的格式文件。没有转义字符，没有双引号，分隔符是分号。

此文件中的示例行如下所示：

第一个单元格；第二个 " 单元格，带有一个双引号和前导 空格;'部分引用'单元格;最后一个单元格

第二个单元格中的单引号会使解析器偏离轨道。有效的是：

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Answer 5

找到通常放在 .cassandra 目录下的 cqlshrc 文件。

在那个文件追加，

[csv]
field_size_limit = 1000000000

Answer 6

下面是检查电流限制

csv.field_size_limit()

输出[20]：131072

下面是增加限制。将其添加到代码中

csv.field_size_limit(100000000)

尝试再次检查限制

csv.field_size_limit()

输出[22]：100000000

现在您不会收到错误“_csv.Error: field large than field limit (131072)”

Answer 7

有时，一行包含双引号列。当 csv 阅读器尝试阅读此行时，不理解列的结尾并触发此提升。 解决方法如下：

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Answer 8

这可能是因为您的 CSV 文件嵌入了单引号或双引号。如果您的 CSV 文件是制表符分隔的，请尝试将其打开为：

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)