按字符串过滤块

Question

我有 60M 多行的 csv 文件。我只对其中的一部分感兴趣，并希望将它们放入数据框中。

这是我正在使用的代码：

iter_csv = pd.read_csv('/Users/xxxx/Documents/globqa-pgurlbymrkt-Report.csv', iterator=True, chunksize=1000)
df = pd.concat([chunk[chunk['Site Market (evar13)'].str.contains("Canada", na=False)] for chunk in iter_csv]) 

在这里回答：pandas: filter lines on load in read_csv

我收到以下错误：

AttributeError: Can only use .str accessor with string values, which use np.object_ dtype in pandas

似乎无法弄清楚出了什么问题，希望在这里得到指导。

Answer 1

首先尝试验证表示字符串的数据。 您期望使用 .contains() 的最后一个块返回什么？ 似乎数据可能丢失了，如果是这样，那么它就不是字符串了。