使用 Python 在大 CSV 文件中搜索元素

Question

我试图过滤一个 CSV 文件并获取另一个列表中的列表的第五个值，但我一直超出范围。

import csv
from operator import itemgetter
teste=[]
f = csv.reader(open('power_supply_info.csv'), delimiter =',' )
for word in f:
    teste.append(word)
    #print teste    
    #print ('\n') 
print map( itemgetter(5), teste)

但是，我收到了这个错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\Users\rafael.paiva\Dev\Python2.7\WinPython-64bit-2.7.6.4\python-2.7.6.amd64\lib\site-packages\spyderlib\widgets\externalshell\sitecustomize.py", line 540, in runfile
    execfile(filename, namespace)
  File "C:/Users/rafael.paiva/Desktop/Rafael/CSV.py", line 24, in <module>
    print map( itemgetter(5), teste)
IndexError: list index out of range

“word”变量中的内容，按照步骤附加到“teste”的是：

[['2015-12-31-21:02:30.754271', '25869', '500000', 'Unknown', '1', '0', '4790780', '1', '0', '0', '375', '0', '-450060', '-326040', '3437000', 'Normal', 'N/A', '93', 'Good', '19', '1815372', 'Unknown', 'Charging', '4195078', '4440000', '4208203', '4171093', '0', '44290', 'Li-ion', '95', '1', '3000000', '1', '375', '-450060', '-326040', '3437000', '93', 'Good', '1815372', '4195000', '4440000', '4208203', '4165625', '0', '44290', '95', '3000000', '1', ''],
 ['2015-12-31-21:03:30.910972', '25930', '500000', 'Unknown', '1', '0', '4794730', '1', '0', '0', '377', '0', '55692', '107328', '3437000', 'Normal', 'N/A', '92', 'Good', '19', '1814234', 'Unknown', 'Charging', '4200390', '4440000', '4207734', '4214062', '0', '41200', 'Li-ion', '95', '1', '3000000', '1', '377', '55692', '107328', '3437000', '92', 'Good', '1814234', '4200390', '4440000', '4207734', '4214062', '0', '41200', '95', '3000000', '1', '']]

有人可以帮我吗？

Answer 1

您应该在循环中添加一些诊断信息，这将有助于向您显示 csv 文件中可能存在的问题：

import csv
from operator import itemgetter

teste = []

with open('power_supply_info.csv', 'rb') as f_input:
    for line, words in enumerate(csv.reader(f_input, delimiter =',' ), start=1):
        if len(words) <= 5:
            print "Line {} only has {} elements".format(line, len(words))
        teste.append(words)

print map(itemgetter(5), teste)

很可能有一行是空白或条目太少，此脚本将列出哪些行号有问题。

Answer 2

我不知道您的 power_supply_info.csv 文件中有什么，但很清楚您在 csv.reader 完成工作后拥有什么：

• 包含 2 个列表（即：2 个元素）的列表

这就是您访问 第 5 个 元素时出错的原因，只有 2

解决您的问题的可能方法：

import csv

f = csv.reader(open('power_supply_info.csv'), delimiter =',' )
# First iterate over the rows and then get each list in the row
teste = [x for x in (row for row in f)]
print map(lambda x: x[5], teste)

真正的挑战是查看您在 csv 文件中的输入，以了解为什么最终将这两个列表包含在一个列表中。

注意：如果您的输出属于 teste 而不是 word，则代码可能是：

import csv

f = csv.reader(open('power_supply_info.csv'), delimiter =',' )
teste = [row for row in f]
print [x[5] for x in teste]

最好的问候

Answer 3

您显示的代码与您提供的数据示例一起正常工作：

In [8]: l = [['2015-12-31-21:02:30.754271', '25869', '500000', 'Unknown', '1', '0', '4790780', '1', '0', '0'],
   ...:      ['2015-12-31-21:03:30.910972', '25930', '500000', 'Unknown', '1', '0', '4794730', '1', '0', '0']]

In [9]: list(map(itemgetter(5),l))
Out[9]: ['0', '0']

我怀疑您的 CSV 文件中的一行（可能是最后一行）是空白的，因此 teste 的最后一个元素实际上是一个空列表，因此 itemgetter(5) 最后一行失败。

不要把所有东西都塞进一行，试试

for item in teste:
    if item:
        print item[5]