当我通过 skip_footer arg 时，Pandas read_csv 忽略列 dtypes

Question

当我尝试将 csv 文件导入数据框时，pandas (0.13.1) 忽略了 dtype 参数。有没有办法阻止 pandas 自行推断数据类型？

我正在合并几个 CSV 文件，有时客户包含作为字符串的字母和熊猫导入。当我尝试合并两个数据框时，我收到一个错误，因为我试图合并两种不同的类型。我需要将所有内容存储为字符串。

数据sn-p：

|WAREHOUSE|ERROR|CUSTOMER|ORDER NO|
|---------|-----|--------|--------|
|3615     |     |03106   |253734  |
|3615     |     |03156   |290550  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |
|3615     |     |03175   |262207  |

导入行：

df = pd.read_csv("SomeFile.csv", 
                 header=1,
                 skip_footer=1, 
                 usecols=[2, 3], 
                 dtype={'ORDER NO': str, 'CUSTOMER': str})

df.dtypes 输出：

ORDER NO    int64
CUSTOMER    int64
dtype: object

Answer 1

看起来上面 Ripster 的答案解决了 OP 的问题。但对我来说，虽然这对某些人来说似乎很明显，但我的问题是我的 CVS 中的标题/列名称都是大写的，而我在代码中的 dtype={...} 中将它们作为小写。将它们全部切换为大写，并且 read_csv 不再忽略我的显式输入。 SQL 是我的母语，在大多数情况下，列名的大小写无关紧要。有几个小时我不会回来...

Answer 2

不幸的是，使用转换器或更新的 pandas 版本并不能解决更普遍的问题，即始终确保 read_csv 不会推断 float64 dtype。对于 pandas 0.15.2，以下示例使用包含 NULL 条目的十六进制整数的 CSV，表明使用转换器名称暗示它们应该用于的用途，会干扰 dtype 规范。

In [1]: df = pd.DataFrame(dict(a = ["0xff", "0xfe"], b = ["0xfd", None], c = [None, "0xfc"], d = [None, None]))
In [2]: df.to_csv("H:/tmp.csv", index = False)
In [3]: ef = pd.read_csv("H:/tmp.csv", dtype = {c: object for c in "abcd"}, converters = {c: lambda x: None if x == "" else int(x, 16) for c in "abcd"})
In [4]: ef.dtypes.map(lambda x: x)
Out[4]:
a      int64
b    float64
c    float64
d     object
dtype: object

对象的指定 dtype 仅适用于全 NULL 列。在这种情况下，float64 值只能转换为整数，但根据鸽子洞原理，并非所有 64 位整数都可以表示为 float64。

对于这种更一般的情况，我发现的最佳解决方案是让 pandas 将可能有问题的列作为字符串读取，如前所述，然后将切片转换为需要转换的值（而不是将转换映射到列上，如这将再次导致自动 dtype = float64 推断）。

In [5]: ff = pd.read_csv("H:/tmp.csv", dtype = {c: object for c in "bc"}, converters = {c: lambda x: None if x == "" else int(x, 16) for c in "ad"})
In [6]: ff.dtypes
Out[6]:
a     int64
b    object
c    object
d    object
dtype: object
In [7]: for c in "bc":
   .....:     ff.loc[~pd.isnull(ff[c]), c] = ff[c][~pd.isnull(ff[c])].map(lambda x: int(x, 16))
   .....:
In [8]: ff.dtypes
Out[8]:
a     int64
b    object
c    object
d    object
dtype: object
In [9]: [(ff[c][i], type(ff[c][i])) for c in ff.columns for i in ff.index]
Out[9]:
[(255, numpy.int64),
 (254, numpy.int64),
 (253L, long),
 (nan, float),
 (nan, float),
 (252L, long),
 (None, NoneType),
 (None, NoneType)]

据我所知，至少到 0.15.2 版为止，在这种情况下无法避免对字符串值进行后处理。

Answer 3

Pandas 0.13.1 默默地忽略了 dtype 参数，因为 c engine 不支持 skip_footer。这导致 Pandas 退回到不支持 dtype 的 python engine。

解决方案？使用converters

df = pd.read_csv('SomeFile.csv', 
                 header=1,
                 skip_footer=1, 
                 usecols=[2, 3], 
                 converters={'CUSTOMER': str, 'ORDER NO': str},
                 engine='python')

输出：

In [1]: df.dtypes
Out[2]:
CUSTOMER    object
ORDER NO    object
dtype: object

In [3]: type(df['CUSTOMER'][0])
Out[4]: str

In [5]: df.head()
Out[6]:
  CUSTOMER ORDER NO
0    03106   253734
1    03156   290550
2    03175   262207
3    03175   262207
4    03175   262207

原始文件中的前导 0 被保留，所有数据都存储为字符串。