使用 Panda read_csv 列出超出范围的索引答案

【问题标题】：List index out of range with Panda read_csv使用 Panda read_csv 列出超出范围的索引
【发布时间】：2016-10-24 04:29:38
【问题描述】：

我正在尝试通过 python 脚本从 csv 文件中读取大数据（数千行），如下所示：

.....
2015-11-03 20:16:28,000;63,62;
2015-11-03 20:16:29,000;63,75;
2015-11-03 20:16:30,000;63,86;
2015-11-03 20:16:31,000;64,25;

但其中一个文件似乎有额外的空行，其中包含 196541465 个空格 - 然后使用 pandas lib 的 read_csv 读取代码时代码崩溃。

     File "/usr/lib/python2.7/dist-packages/pandas/core/frame.py", line 4221, in append
        elif isinstance(other, list) and not isinstance(other[0], DataFrame):
IndexError: list index out of range

我正在使用以下命令：

data = pd.read_csv(input_file,skiprows = [0],usecols=[0,1,2],delimiter=';',decimal=',', names = [ 'date','angle','Unnamed'],na_filter = False,parse_dates = [0],date_parser = reformat_date,error_bad_lines = False,skip_blank_lines=True)#,nrows = 8191)

罪魁祸首行是第 8192 行，当限制行时（rows = 8191）它工作得很好。我已经尝试了文档中的许多选项，但它似乎不起作用！有什么想法吗？

【问题讨论】：

手动编辑csv文件不是一个选项吗？
很遗憾，不，脚本可能会读取许多这样的 csv 文件，我想处理此类错误。
如果这些行完全只是空格，那么skip_blank_lines=True 应该可以解决问题。
SvbZ3r0 ：但事实并非如此，我怀疑它可能是该行中的其他字符。 @shivsn：我已经在上面的命令中使用了它：/谢谢你的回答。
试试quote_chars如果有的话。

标签： python csv pandas

【解决方案1】：

我收到此错误是因为我试图读取的 CSV 文件的标题与列数相比太少（例如 10 列，但只有 8 个标题。如果您设置 index_col=False，pandas 不知道是什么）与额外的列有关）

【讨论】：

【解决方案2】：

根据下面的 Mitjas 评论编辑。

我刚遇到同样的问题，index_col = False 没有用。我有 19 列，只有 17 个标题。通过分别读取列和标题然后添加标题名称来解决它。

dfcolumns = pd.read_csv('file.csv',
                        nrows = 1)
df = pd.read_csv('file.csv',
                  header = None,
                  skiprows = 1,
                  usecols = list(range(len(dfcolumns.columns))),
                  names = dfcolumns.columns)

【讨论】：

非常感谢！虽然usecols = list(range(len(dfcolumns.columns))), 更普遍可用。
@Mitja Great，在答案中添加了这一点。