Pandas：转换为数字，必要时创建 NaN答案

【问题标题】：Pandas: Converting to numeric, creating NaNs when necessaryPandas：转换为数字，必要时创建 NaN
【发布时间】：2013-08-28 08:34:29
【问题描述】：

假设我在数据框中有一列包含一些数字和一些非数字

>> df['foo']
0       0.0
1     103.8
2     751.1
3       0.0
4       0.0
5         -
6         -
7       0.0
8         -
9       0.0
Name: foo, Length: 9, dtype: object

如何将此列转换为np.float，并让其他所有非浮点数转换为NaN？

当我尝试时：

>> df['foo'].astype(np.float)

或

>> df['foo'].apply(np.float)

我收到ValueError: could not convert string to float: -

【问题讨论】：

关于pd.to_numeric及其应用的更全面解释，请查看this answer。

标签： python pandas

【解决方案1】：

首先将所有字符串值替换为None，将其标记为缺失值，然后将其转换为浮点数。

df['foo'][df['foo'] == '-'] = None
df['foo'] = df['foo'].astype(float)

【讨论】：

谢谢！又好又简单。
简单，效果比之前的建议好很多。

【解决方案2】：

使用convert_objects 系列方法（和convert_numeric）：

In [11]: s
Out[11]: 
0    103.8
1    751.1
2      0.0
3      0.0
4        -
5        -
6      0.0
7        -
8      0.0
dtype: object

In [12]: s.convert_objects(convert_numeric=True)
Out[12]: 
0    103.8
1    751.1
2      0.0
3      0.0
4      NaN
5      NaN
6      0.0
7      NaN
8      0.0
dtype: float64

注意：这也可以作为 DataFrame 方法使用。

【讨论】：

“尝试为对象列推断更好的 dtype”基本上是一个神奇的子弹......（它也有日期。）
@delgadom 令人惊讶的是，10 minute tutorial 中没有“清理”部分。我需要完成我的书:)
不幸贬值了：/

【解决方案3】：

在 pandas 中 0.17.0 convert_objects 引发警告：

FutureWarning：convert_objects 已弃用。使用数据类型特定转换器 pd.to_datetime、pd.to_timedelta 和 pd.to_numeric。

您可以使用pd.to_numeric 方法并将其应用于带有参数coerce 的数据框。

df1 = df.apply(pd.to_numeric, args=('coerce',))

或许更恰当：

df1 = df.apply(pd.to_numeric, errors='coerce')

编辑

以上方法只对pandas版本>=0.17.0有效，来自docs what's new in pandas 0.17.0：

pd.to_numeric 是一个将字符串强制转换为数字的新函数（可能带有强制转换）(GH11133)

【讨论】：

手指交叉这个回来了，这是一颗伟大的银弹。
'module' 对象没有属性 'to_numeric' ?
显示编辑后的版本，仅在0.17.0pandas版本中可用

【解决方案4】：

您可以简单地使用pd.to_numeric 并将错误设置为coerce 而无需使用apply

df['foo'] = pd.to_numeric(df['foo'], errors='coerce')

【讨论】：

简单又好用！