Kmean聚类聚类中的顶级术语

Question

我正在对集群文档使用 python Kmean 聚类算法。我创建了一个术语文档矩阵

   from sklearn.feature_extraction.text import TfidfVectorizer
   from sklearn.cluster import KMeans
   vectorizer = TfidfVectorizer(tokenizer=tokenize, encoding='latin-1',
                          stop_words='english')
    X = vectorizer.fit_transform(token_dict.values())

然后我使用以下代码应用 Kmean 聚类

 km = KMeans(n_clusters=true_k, init='k-means++', max_iter=100, n_init=1)
 y=km.fit(X)

我的下一个任务是查看每个集群中的热门词，在 googole 上搜索表明许多人使用 km.cluster_centers_.argsort()[:, ::-1] 来查找使用以下代码进行集群：

 print("Top terms per cluster:")
 order_centroids = km.cluster_centers_.argsort()[:, ::-1]
 terms = vectorizer.get_feature_names()
 for i in range(true_k):
     print("Cluster %d:" % i, end='')
     for ind in order_centroids[i, :10]:
         print(' %s' % terms[ind], end='')
         print()

现在我的问题是，据我了解，km.cluster_centers_ 返回集群中心的坐标，例如，如果有 100 个特征和三个集群，它将返回一个 3 行 100 列的矩阵，代表一个质​​心每个集群。我希望了解如何在上述代码中使用它来确定集群中的顶级术语。 谢谢任何cmets表示赞赏 纳迪姆

Answer 1

游戏有点晚了，但我有同样的问题，但找不到满意的答案。

这就是我所做的：

from sklearn.cluster import MiniBatchKMeans
from sklearn.feature_extraction.text import TfidfVectorizer

# documents you are clustering
docs = ['first document', 'second', 'third doc', 'etc.'] * 10

# init vectorizer
tfidf = TfidfVectorizer()

# fit vectorizer and get vecs
vecs = tfidf.fit_transform(docs)

# fit your kmeans cluster to vecs
# don't worry about the hyperparameters
clusters = MiniBatchKMeans(
    n_clusters=16, 
    init_size=1024, 
    batch_size=2048, 
    random_state=20
).fit_predict(vecs)

# get dict of {keyword id: keyword name}
labels = tfidf.get_feature_names()

def get_cluster_keywords(vecs, clusters, docs, labels, top_n=10):
    # init a dict where we will count term occurence
    cluster_keyword_ids = {cluster_id: {} for cluster_id in set(clusters)}
    
    # loop through the vector, cluster and content of each doc
    for vec, i, sent in zip(vecs, clusters, docs):
        
        # inspect non zero elements of rows of sparse matrix
        for j in vec.nonzero()[1]:
            
            # check we have seen this keword in this cluster before
            if j not in cluster_keyword_ids[i]:
                cluster_keyword_ids[i][j] = 0
            
            # add a count
            cluster_keyword_ids[i][j] += 1

    # cluster_keyword_ids contains ids
    # we need to map back to keywords
    # do this with the labels param
    return {
        cluster_id: [
            labels[keyword_id] # map from kw id to keyword
            
            # sort through our keyword_id_counts
            # only return the top n per cluster
            for keyword_id, count in sorted(
                keyword_id_counts.items(),
                key=lambda x: x[1], # sort from highest count to lowest
                reverse=True
            )[:top_n]
        ] for cluster_id, keyword_id_counts in cluster_keyword_ids.items()
    }

然后就可以运行了：

>>> get_cluster_keywords(vecs, clusters, docs, labels, top_n=10)

{0: ['document', 'first'], 1: ['second'], 2: ['doc', 'third'], 3: ['etc']}

Answer 2

您对集群中心的形状和含义是正确的。因为您使用的是 Tf-Idf 矢量化器，所以您的“特征”是给定文档中的单词（每个文档都是它自己的向量）。因此，当您对文档向量进行聚类时，质心的每个“特征”都代表了该词与它的相关性。 “word”（在词汇表中）="feature"（在您的向量空间中）="column"（在您的质心矩阵中）

get_feature_names 调用将列索引映射到它所代表的单词（从文档中看来...如果这不能按预期工作，只需反转 vocabulary_ 矩阵以获得相同的结果)。

然后.argsort()[:, ::-1] 行将每个质心转换为其中最“相关”（高价值）的列的排序（降序）列表，因此也是最相关的单词（因为 words=columns）。

其余的代码只是打印，我确信不需要任何解释。代码实际上所做的就是按照其中最有价值的特征/单词的降序对每个质心进行排序，然后将这些列映射回它们的原始单词并打印它们。