【发布时间】：2023-03-22 03:05:02
【问题描述】：
我是驯象师的新手。我想知道如何获取特定集群的主题和该集群的文件名。即这些文件与这些主题一起聚集到这个集群中。我读到有一个实用程序 ClusterDumper 可以完成这项任务。但我不知道怎么做。谁能举个例子来完成这个任务？
【问题讨论】：
标签： hadoop machine-learning hdfs data-mining mahout
【发布时间】：2023-03-22 03:05:02
【问题描述】：
聚类！= 主题建模。
假设你在谈论 k-means，集群会给你一个平均词频向量。将其变成对最终用户有意义的主题是一项非常不同且更具挑战性的任务。 不要以为 Mahout 会为您呈现“美式足球”之类的漂亮结果。它不能。没有人可以在无人监督的情况下做到这一点。
【讨论】：
-
是的，我想知道如何对文档进行聚类。我想在无人监督的情况下对文件进行分组。如果我提供 100 个文档，则应该将其分组为 5 个类别。有没有办法在 Mahout 中做到这一点？它也应该是可扩展的。
-
我不使用 Mahout。恕我直言，它非常慢。我也不认为集群效果很好。
-
在这种情况下，要对大规模文档进行聚类，需要哪一个工具？我想对大小为 TB 的文档进行分组。
-
我没有 TB 的此类文件。不是在矢量化之后；原始数据大小无关紧要。但在我所有的基准测试中，Mahout 都很慢。我想，当我有一个 100 多个节点集群时，我会开始使用它。
-
您为什么不对您的数据使用不同的工具进行基准测试？不要依赖建议 - 而是要进行基准测试！