【发布时间】：2018-05-24 10:15:46
【问题描述】：
编辑：想通了，并在下面回答。这可能对将来直接从 kaggle 下载 csv 文件的其他新手有所帮助。我没有意识到即使 wget 显示为下载 csv 文件，它们实际上是 zip。
我是 pandas 的新手，一般都在使用这些数据集。我安装并升级到最新版本的 kaggle-cli，将一些 kaggle 数据集下载到我自己的 VM 中，以便在 Jupyter 中使用：
[root@sandbox ~]# kg dataset -u "me" -p "mypassword" -o "sohier" -d "london-police-records"
downloading https://www.kaggle.com/sohier/london-police-records/downloads/london-outcomes.csv
london-outcomes.csv 100% |##################################################################################| Time: 0:00:03 37.7 MiB/s
downloading https://www.kaggle.com/sohier/london-police-records/downloads/london-stop-and-search.csv
london-stop-and-search.csv 100% |###########################################################################| Time: 0:00:00 5.3 MiB/s
downloading https://www.kaggle.com/sohier/london-police-records/downloads/london-street.csv
london-street.csv 100% |####################################################################################| Time: 0:00:02 42.8 MiB/s
下载本身没有问题。当我尝试使用 pandas 处理数据时：
将熊猫导入为 pd
london_street = pd.read_csv('london-street.csv')
我明白了：
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
<ipython-input-16-b1c1b3a6a38f> in <module>()
----> 1 london_street = pd.read_csv('london-street.csv')
/opt/anaconda3/lib/python3.6/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, skipfooter, skip_footer, doublequote, delim_whitespace, as_recarray, compact_ints, use_unsigned, low_memory, buffer_lines, memory_map, float_precision)
653 skip_blank_lines=skip_blank_lines)
654
--> 655 return _read(filepath_or_buffer, kwds)
656
657 parser_f.__name__ = name
/opt/anaconda3/lib/python3.6/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
409
410 try:
--> 411 data = parser.read(nrows)
412 finally:
413 parser.close()
/opt/anaconda3/lib/python3.6/site-packages/pandas/io/parsers.py in read(self, nrows)
1003 raise ValueError('skipfooter not supported for iteration')
1004
-> 1005 ret = self._engine.read(nrows)
1006
1007 if self.options.get('as_recarray'):
/opt/anaconda3/lib/python3.6/site-packages/pandas/io/parsers.py in read(self, nrows)
1746 def read(self, nrows=None):
1747 try:
-> 1748 data = self._reader.read(nrows)
1749 except StopIteration:
1750 if self._first_chunk:
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read (pandas/_libs/parsers.c:10862)()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory (pandas/_libs/parsers.c:11138)()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows (pandas/_libs/parsers.c:11884)()
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows (pandas/_libs/parsers.c:11755)()
pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error (pandas/_libs/parsers.c:28765)()
ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 2
我查找了我能找到的最相似的问题，并尝试了使用 sep 参数和其他一些设置的各种选项（这只是以不同的方式破坏了解析），但是看看这个项目本身和数据汇总：
https://www.kaggle.com/sohier/london-police-records/data
看起来应该很简单。在我可以将它用作干净的 csv 文件之前，Kaggle 是否会处理我需要做一些额外的外部数据下载？
【问题讨论】：
-
我的猜测是 csv 文件太大而无法放入内存。文件有多大？
read_csv是否为您提供了限制它读取的数字行的选项？这至少会将解析格式问题与内存问题分开。 -
@hpaulj 我尝试添加 nrows=20 但结果是一样的。根据最后一行，格式肯定有问题：ParserError: Error tokenizing data。 C 错误：第 3 行中应有 1 个字段，看到 2
-
现在错误看起来与每行的列数有关。第一行可能是标题或 cmets，应该跳过。
-
它对我来说很好。我确实注意到第 4 行（或第 3 行数据）以空条目开头。你用的是什么版本的熊猫？如果它是旧的，pandas 可能无法识别空值（并认为您的行的值太少）。
-
看起来像 0.20.3。虚拟机对于我所参加的课程来说是开箱即用的，我真的不太了解引擎盖下的内容并安装在操作系统中，这是过时的吗？
标签： python pandas jupyter kaggle