在多个程序中正确使用 Scikit 的 LabelEncoder

Question

我手头的基本任务是

a) 读取一些制表符分隔的数据。

b) 做一些基本的预处理

c) 对于每个分类列，使用LabelEncoder 创建一个映射。这有点像这样

mapper={}
#Converting Categorical Data
for x in categorical_list:
     mapper[x]=preprocessing.LabelEncoder()

for x in categorical_list:
     df[x]=mapper[x].fit_transform(df.__getattr__(x))

其中df 是pandas 数据框，categorical_list 是需要转换的列标题列表。

d) 使用 pickle 训练分类器并将其保存到磁盘

e) 现在在另一个程序中，保存的模型被加载。

f) 加载测试数据并执行相同的预处理。

g) LabelEncoder's 用于转换分类数据。

h) 模型用于预测。

现在我的问题是，g) 步骤会正常工作吗？

正如LabelEncoder 的文档所述

It can also be used to transform non-numerical labels (as long as 
they are hashable and comparable) to numerical labels.

那么每个条目每次都会散列到完全相同的值吗？

如果否，有什么好的方法可以解决这个问题。有什么方法可以检索编码器的映射？还是与 LabelEncoder 完全不同的方式？

Answer 1

根据LabelEncoder 实现，当且仅当您在测试时fit LabelEncoders 使用具有完全相同的唯一值集的数据时，您所描述的管道才能正常工作。

有一种方法可以重用您在训练期间获得的 LabelEncoders。 LabelEncoder 只有一个属性，即classes_。可以腌制一下，然后恢复就好了

火车：

encoder = LabelEncoder()
encoder.fit(X)
numpy.save('classes.npy', encoder.classes_)

测试

encoder = LabelEncoder()
encoder.classes_ = numpy.load('classes.npy')
# Now you should be able to use encoder
# as you would do after `fit`

这似乎比使用相同的数据重新拟合更有效。

Answer 2

对我来说，最简单的方法是将每列的 LabelEncoder 导出为 .pkl 文件。使用fit_transform()函数后，你必须为每一列导出编码器

例如

from sklearn.preprocessing import LabelEncoder
import pickle
import pandas as pd
df_train = pd.read_csv('traing_data.csv')
le = LabelEncoder()    
df_train['Departure'] = le.fit_transform(df_train['Departure'])
#exporting the departure encoder
output = open('Departure_encoder.pkl', 'wb')
pickle.dump(le, output)
output.close()

然后在测试项目中，可以加载LabelEncoder对象，直接应用transform()函数

from sklearn.preprocessing import LabelEncoder
import pandas as pd
df_test = pd.read_csv('testing_data.csv')
#load the encoder file
import pickle 
pkl_file = open('Departure_encoder.pkl', 'rb')
le_departure = pickle.load(pkl_file) 
pkl_file.close()
df_test['Departure'] = le_departure.transform(df_test['Departure'])

Answer 3

对我有用的是LabelEncoder().fit(X_train[col])，为每个分类列col 腌制这些对象，然后在验证数据集中重用相同的对象来转换相同的分类列col。基本上，您的每个分类列都有一个标签编码器对象。

1. 所以fit() 在训练数据上并腌制与训练数据帧X_train 中每一列对应的对象/模型。
2. 对于验证集X_cv 的列中的每个col，加载相应的对象/模型并通过访问转换函数来应用转换：transform(X_cv[col])。

Answer 4

因为我没有找到其他关于名义/分类编码的帖子。我扩展了上述解决方案并分享了我的 OrdinalEncoder 方法（这可能是作者的意图）

我使用 OrdinalEncoder 执行了以下操作（但也应该使用 LabelEncoder）。请注意，我使用的是categories_ 而不是classes_

1. 创建编码器字典
2. 用 numpy 保存
3. 用 numpy 加载它
4. 遍历字典并对每一列应用转换

注意：np 代表 numpy。

# ------- step 1 and 2 in the file/cell where the encoding shall be exported

    encoder_dict = dict()

    for nom in nominal_columns:
        enc = enc.fit(df[[nom]])
        df[[nom]] = enc.transform(df[[nom]])
        encoder_dict[nom] = [[str(cat) for cat in sublist] for sublist in enc.categories_]

    np.save('FILE_NAME.npy', encoder_dict)




# ------------ step 3 and 4 in the file where encoding shall be imported

enc = OrdinalEncoder()
encoder_dict = np.load('FILE_NAME.npy', allow_pickle=True).tolist()

    for nom in encoder_dict:
        for col in df.columns:
            if nom == col:
                enc.categories_ = encoder_dict[nom]
                df[[col]] = enc.transform(df[[col]])
    return df

Answer 5

如果您已经通过 pickle 保存模型，我会为预处理工具做同样的事情。

一种方法是将所有内容组合到一个类中：

class MyClassifier():
    def load_data(self):
        ...
    def fit(self):
        self.first_column_encoder = preprocessing.LabelEncoder()
        self.first_column_encoder.fit(...)
        ...
        self.second_column_encoder = preprocessing.LabelEncoder()
        self.second_column_encoder.fit(...)
        ...
        self.model = KNearestNeighbors(...)
        self.model.fit(...)

my_classifier = MyClassifier()
my_classifier.fit()

pickle.dump(my_classifier, file)

注意：您可能希望对输入类别使用 OrdinalEncoder 而不是 LabelEncoder

Answer 6

您可以在使用“le”对象对值进行编码后执行此操作：

encoding = {}
for i in list(le.classes_):
    encoding[i]=le.transform([i])[0]

您将获得带有编码的“编码”字典以供以后使用，例如，您可以使用 pandas 将此字典导出为 csv。