在 scikit-learn 中创建一个添加集群标签的自定义转换器

Question

我正在 scikit-learn 中编写一个自定义转换器，它使用股票 KMeans 将集群标签作为新列添加到 pandas 数据帧。 自定义转换器应该适合现有数据，然后通过添加索引名称为“Cluster”的新列来转换看不见的数据，并在不修改原始数据帧的情况下返回带有附加列的新数据帧。 以下是我想出的代码：

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.cluster import KMeans

class AddClustersFeature(BaseEstimator, TransformerMixin):
    def __init__(self, clusters = 10): 
        self.clusters = clusters
        self.model = KMeans(n_clusters = self.clusters)
           
    def fit(self, X):
        self.X=X
        self.model.fit (self.X)
        return self.model
       
    def transform(self, X):
        self.X=X
        X_=X.copy() # avoiding modification of the original df
        
        X_['Clusters'] = self.model.transform(self.X_).labels_
        
        return X_

cluster_enc_tr_data = AddClustersFeature().fit_transform(enc_tr_data)
cluster_enc_tr_data

不幸的是，代码确实可以正常工作。结果是一个数据框，其中簇号作为列索引，行号和未知的先前值。 任何帮助或提示将不胜感激。

6 月 21 日第 23 次更新 v2： 请在实施 Ben 修改后的 cmets 后查看下面的代码。 现在完美运行。

from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.cluster import KMeans

class AddClustersFeature(BaseEstimator, TransformerMixin):
    def __init__(self, clusters = 10): 
        self.clusters = clusters
        
           
    def fit(self, X):
        self.X=X
        self.model = KMeans(n_clusters = self.clusters)
        self.model.fit (self.X)
        return self
       
    def transform(self, X):
        self.X=X
        X_=X.copy() # avoiding modification of the original df
        X_['Clusters'] = self.model.predict(X_)
        return X_

cluster_enc_tr_data = AddClustersFeature().fit_transform(enc_tr_data)

Answer 1

fit 方法必须始终返回 self。

这里的问题是fit_transform(X, y)，继承自TransformerMixin，只是fit(X, y).transform(X)；你的fit 现在返回底层的KMeans 转换器，that 用于转换X 而不是你的 transform。

还有一些注意事项：

1. KMeans.transform 给出了集群距离矩阵，但您需要集群标签。请改用predict。并删除labels_，所以只需X_['Clusters'] = self.model.predict(X_)。）

2. __init__ 应该只设置出现在其签名中的属性，以便克隆工作（例如超参数搜索所必需的）。您可以在fit 时间定义self.model。

3. 在transform 中，您使用self.X_，但它从未被定义；我猜你的意思只是X_。也没有真正的理由在合适的时候保存X； self.X 真的不需要吗？

4. 这仅适用于数据帧；这对您来说可能不是问题，但请记住。 （在内置 sklearn 转换器之后，您不能将其用作管道中的一个步骤，因为它们将返回 numpy 数组。）