如何在 Spark 中进行文本分析

Question

我对 Hadoop 非常熟悉，但对 Apache Spark 完全陌生。目前我正在使用 Mahout 中实现的 LDA（潜在狄利克雷分配）算法来进行主题发现。但是，由于我需要使过程更快，我想使用 spark，但是在 Spark MLib 中没有实现 LDA（或 CVB）算法。这是否意味着我必须自己从头开始实现它？如果是这样，Spark 是否提供了一些工具来简化它？

Answer 1

关于如何使用1.3新的Spark LDA API：

这是一篇描述新 API 的文章：Topic modeling with LDA: MLlib meets GraphX

并且，它链接到显示如何矢量化文本输入的示例代码：Github LDA Example

Answer 2

实际上 Spark 1.3.0 现已推出，所以 LDA 可用！！

参考https://issues.apache.org/jira/browse/SPARK-1405

问候，

Answer 3

LDA 最近已添加到 Spark。它不是当前 1.2.1 版本的一部分。

不过，您可以在当前的 SNAPSHOT 版本中找到一个示例：LDAExample.scala

您还可以阅读有关SPARK-1405 issue 的有趣信息。

---

那我该如何使用呢？

未发布时最简单的方法可能是在您的项目中复制以下类，就像您自己编写代码一样：

• LDA.scala
• LDAModel.scala