scikit-learn：如何使用管道组合 LabelEncoder 和 OneHotEncoder？

Question

在为机器学习分类任务预处理标签时，我需要对采用字符串值的标签进行热编码。碰巧来自sklearn.preprocessing 的OneHotEncoder 或来自kera.np_utils 的to_categorical 需要int 输入。这意味着我需要在一个热编码器之前加上LabelEncoder。我用自定义类手工完成了它：

class LabelOneHotEncoder():
    def __init__(self):
        self.ohe = OneHotEncoder()
        self.le = LabelEncoder()
    def fit_transform(self, x):
        features = self.le.fit_transform( x)
        return self.ohe.fit_transform( features.reshape(-1,1))
    def transform( self, x):
        return self.ohe.transform( self.la.transform( x.reshape(-1,1)))
    def inverse_tranform( self, x):
        return self.le.inverse_transform( self.ohe.inverse_tranform( x))
    def inverse_labels( self, x):
        return self.le.inverse_transform( x)

我相信在 sklearn API 中必须有一种使用sklearn.pipeline 的方法，但是在使用时：

LabelOneHotEncoder = Pipeline( [ ("le",LabelEncoder), ("ohe", OneHotEncoder)])

我从OneHotEncoder 收到错误ValueError: bad input shape ()。我的猜测是LabelEncoder 的输出需要通过添加一个微不足道的第二个轴来重塑。我不确定如何添加此功能。

Answer 1

这不是针对提出的问题，而是仅将 LabelEncoder 应用于所有列，您可以使用以下格式

df_non_numeric =df.select_dtypes(['object'])
non_numeric_cols = df_non_numeric.columns.values
from sklearn.preprocessing import LabelEncoder
for col in non_numeric_cols:
    df[col] = LabelEncoder().fit_transform(df[col].values)
df.head()

Answer 2

我使用了一个自定义类来包装我的标签编码器函数，它会返回整个更新的数据集。

 class CustomLabelEncode(BaseEstimator, TransformerMixin):
  def fit(self, X, y=None):
   return self
  def transform(self, X ,y=None):
    le=LabelEncoder()
    for i in X[cat_cols]:
    X[i]=le.fit_transform(X[i])
    return X 
cat_cols=['Family','Education','Securities Account','CDAccount','Online','CreditCard']
le_ct=make_column_transformer((CustomLabelEncode(),cat_cols),remainder='passthrough') 
pd.DataFrame(ct3.fit_transform(X)) #This will show you your changes
Final_pipeline=make_pipeline(le_ct)

[我已经实现了你可以看我的github链接] [1]：https://github.com/Ayushmina-20/sklearn_pipeline

Answer 3

从 scikit-learn 0.20 开始，OneHotEncoder 接受字符串，因此您不再需要 LabelEncoder 之前。您可以在管道中使用它。

Answer 4

奇怪的是他们不能很好地一起玩......我很惊讶。我会扩展该类以按照您的建议返回重塑后的数据。

class ModifiedLabelEncoder(LabelEncoder):

    def fit_transform(self, y, *args, **kwargs):
        return super().fit_transform(y).reshape(-1, 1)

    def transform(self, y, *args, **kwargs):
        return super().transform(y).reshape(-1, 1)

然后使用管道应该可以工作。

pipe = Pipeline([("le", ModifiedLabelEncoder()), ("ohe", OneHotEncoder())])
pipe.fit_transform(['dog', 'cat', 'dog'])

https://github.com/scikit-learn/scikit-learn/blob/a24c8b46/sklearn/preprocessing/label.py#L39