文本分类 - 如何处理

Question

我会尽量描述我的想法。

有一个文本内容存储在 MS SQL 数据库中。内容每天都以流的形式出现。有些人每天都会浏览内容，如果内容符合某些标准，则将其标记为已验证。只有一类。它要么“有效”，要么无效。

我想要的是基于已经验证的内容创建一个模型，保存它并使用这个模型来“预验证”或标记新的传入内容。也偶尔根据新验证的内容更新模型。希望我能清楚地解释自己。

我正在考虑根据创建的模型使用 Spark 流进行数据分类。和朴素贝叶斯算法。但是您将如何创建、更新和存储模型？有大约 200K+ 不同长度的经过验证的结果（文本）。我需要这么多的模型吗？ 以及如何在 Spark Streaming 中使用这个模型。

提前致谢。

Answer 1

哇，这个问题非常广泛，与Machine Learning 的相关性比Apache Spark 的相关性更高，但是我会尝试给你一些提示或步骤来遵循（我不会为你做这项工作）。

1. 导入所有你需要的库

   from pyspark.mllib.classification import LogisticRegressionWithSGD, LogisticRegressionModel
   from pyspark.mllib.linalg import SparseVector
   from pyspark.mllib.regression import LabeledPoint
   import re
   

2. 将您的数据加载到RDD

   msgs = [("I love Star Wars but I can't watch it today", 1.0),
           ("I don't love Star Wars and people want to watch it today", 0.0),
           ("I dislike not being able to watch Star Wars", 1.0),
           ("People who love Star Wars are my friends", 1.0),
           ("I preffer to watch Star Wars on Netflix", 0.0),
           ("George Lucas shouldn't have sold the franchise", 1.0),
           ("Disney makes better movies than everyone else", 0.0)]
   
   rdd = sc.parallelize(msgs)
   

3. 标记您的数据（如果您使用ML 可能会更容易）和

   rdd = rdd.map(lambda (text, label): ([w.lower() for w in re.split(" +", text)], label))
   

4. 删除所有不必要的词（广泛称为停用词）和符号，例如,.&

   commons = ["and", "but", "to"]
   rdd = rdd.map(lambda (tokens, label): (filter(lambda token: token not in commons, tokens), label))
   

5. 在所有数据集中创建一个包含所有distinct 单词的字典，这听起来很庞大，但它们并没有您期望的那么多，我敢打赌它们会适合您的主节点（但是还有其他方法可以解决这个问题，但为简单起见，我将保持这种方式）。

   # finds different words
   words = rdd.flatMap(lambda (tokens, label): tokens).distinct().collect()
   diffwords = len(words)
   

6. 将您的features 转换为DenseVector 或SparseVector，我显然会推荐第二种方式，因为通常SparseVector 需要更少的空间来表示，但这取决于数据。请注意，有更好的选择，例如 hashing，但我试图保持对我冗长的方法的忠诚。之后将tuple 转换为LabeledPoint

   def sparsify(length, tokens):
       indices = [words.index(t) for t in set(tokens)]
       quantities = [tokens.count(words[i]) for i in indices]
   
       return SparseVector(length, [(indices[i], quantities[i]) for i in xrange(len(indices))])
   
   rdd = rdd.map(lambda (tokens, label): LabeledPoint(label, sparsify(diffwords, tokens)))
   

7. 适合你最喜欢的模型，在这种情况下我使用了LogisticRegressionWithSGD，因为别有用心。

   lrm = LogisticRegressionWithSGD.train(rdd)
   

8. Save你的模特。

   lrm.save(sc, "mylovelymodel.model")
   

9. Load 你的LogisticRegressionModel 在另一个应用程序中。

   lrm = LogisticRegressionModel.load(sc, "mylovelymodel.model")
   

10. Predict 类别。

    lrm.predict(SparseVector(37,[2,4,5,13,15,19,23,26,27,29],[1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0,1.0]))
    # outputs 0
    

请注意，我没有评估模型的accuracy，但它看起来不是吗？