词聚类列表列表

Question

假设我有一个单词列表，例如

[['apple','banana'],
 ['apple','orange'],
 ['banana','orange'],
 ['rice','potatoes','orange'],
 ['potatoes','rice']]

这个集合要大得多。我想对通常一起存在的单词具有相同簇的单词进行聚类。所以在这种情况下，集群将是 ['apple', 'banana', 'orange'] 和 ['rice','potatoes']。
归档这种集群的最佳方法是什么？

Answer 1

我认为将问题视为图表更为自然。

例如，您可以假设apple 是节点 0，banana 是节点 1，第一个列表表示 0 到 1 之间有一条边。

所以首先将标签转换为数字：

from sklearn.preprocessing import LabelEncoder
le=LabelEncoder()
le.fit(['apple','banana','orange','rice','potatoes'])

现在：

l=[['apple','banana'],
 ['apple','orange'],
 ['banana','orange'],
 ['rice','potatoes'], #I deleted orange as edge is between 2 points, you can  transform the triple to 3 pairs or think of different solution
 ['potatoes','rice']]

将标签转换为数字：

edges=[le.transform(x) for x in l]

>>edges

[array([0, 1], dtype=int64),
array([0, 2], dtype=int64),
array([1, 2], dtype=int64),
array([4, 3], dtype=int64),
array([3, 4], dtype=int64)]

现在，开始构建图并添加边：

import networkx as nx #graphs package
G=nx.Graph() #create the graph and add edges
for e in edges:
    G.add_edge(e[0],e[1])

现在您可以使用connected_component_subgraphs 函数来分析连接的顶点。

components = nx.connected_component_subgraphs(G) #analyze connected subgraphs
comp_dict = {idx: comp.nodes() for idx, comp in enumerate(components)}
print(comp_dict)

输出：

{0: [0, 1, 2], 1: [3, 4]}

或

print([le.inverse_transform(v) for v in comp_dict.values()])

输出：

[array(['apple', 'banana', 'orange']), array(['potatoes', 'rice'])]

这些是您的 2 个集群。

Answer 2

寻找频繁项集会更有意义。

如果你对这样的短组词进行聚类，所有的东西通常只会在几个层次上联系起来：没有共同点，一个共同点，两个共同点。这太粗糙而不能用于聚类。您将获得所有连接或无连接，并且结果可能对数据更改和排序高度敏感。

因此放弃了对数据进行分区的范式 - 改为寻找频繁的组合。

Answer 3

所以，经过大量谷歌搜索后，我发现我实际上不能使用聚类技术，因为我缺少可以对单词进行聚类的特征变量。如果我制作一张表格，其中我注意到每个单词与其他单词（实际上是笛卡尔积）存在的频率实际上是邻接矩阵并且聚类在它上面不起作用。

所以，我一直在寻找的解决方案是图形社区检测。我使用 igraph 库（或 python 的 python-ipgraph 包装器）来查找集群，它运行得非常好和快。

更多信息：

• 类似问题：https://stats.stackexchange.com/questions/142297/finding-natural-groups-clusters-in-an-undirected-graph-over-several-undirect
• 方格纸中的社区检测：https://arxiv.org/pdf/0906.0612.pdf
• 各种算法的基本说明：What are the differences between community detection algorithms in igraph?