过滤 dtype 转换失败的行

Question

我有一个包含很多列的 pandas 数据框。所有列的 dtype 都是对象，因为有些列的值是字符串。有没有办法将行过滤到不同的数据框中，其中任何列中的值都是字符串，然后将清理后的数据框转换为整数 dtype。

我想出了第二部分，但无法实现第一部分 - 如果值包含字符串字符，例如“a”、“b”等，则过滤掉行。如果 df 是：

df = pd.DataFrame({
    'col1':[1,2,'a',0,3],
    'col2':[1,2,3,4,5],
    'col3':[1,2,3,'45a5',4]
    })

这应该变成 2 个数据帧

df = pd.DataFrame({
    'col1':[1,2,3],
    'col2':[1,2,5],
    'col3':[1,2,4]
    })

dfError = pd.DataFrame({
    'col1':['a',0],
    'col2':[3,4],
    'col3':[3,'45a5']
    })

Answer 1

我相信这是一种有效的方法。

import pandas as pd

df = pd.DataFrame({ # main dataframe
    'col1':[1,2,'a',0,3],
    'col2':[1,2,3,4,5],
    'col3':[1,2,3,'45a5',4]
    }) 

mask = df.apply(pd.to_numeric, errors='coerce').isna() # checks if couldn't be numeric
mask = mask.any(1) # check rows that couldn't be numeric

df1 = df[~mask] # could be numeric
df2 = df[mask]  # couldn't be numeric

分解：

df.apply(pd.to_numeric) # converts the dataframe into numeric, but this would give us an error for the string elements (like 'a')

df.apply(pd.to_numeric, errors='coerce') # 'coerce' sets any non-valid element to NaN (converts the string elements to NaN).

>>>
   col1  col2  col3
0   1.0     1   1.0
1   2.0     2   2.0
2   NaN     3   3.0
3   0.0     4   NaN
4   3.0     5   4.0

mask.isna() # Detect missing values.
>>>
    col1   col2   col3
1  False  False  False
2   True  False  False
3  False  False   True
4  False  False  False

mask.any(1) # Returns whether any element is True along the rows
>>>
0    False
1    False
2     True
3     True
4    False

Answer 2

不知道是否有一种高效的方法来检查这一点。但是一种肮脏的方式（可能很慢）可能是：

str_cond = df.applymap(lambda x: isinstance(x, str)).any(1)

df[~str_cond]
  col1  col2 col3
0    1     1    1
1    2     2    2
4    3     5    4

df[str_cond]
  col1  col2  col3
2    a     3     3
3    0     4  45a5