Python如何将词袋应用于csv文件中的推文

Question

我目前正在从事 Twitter 数据分析工作，一直致力于在 Python 中应用词袋技术，但一直没有运气。 目前，我已经能够通过一些预处理将数据流式存储在数据库中，然后我将推文导出到 csv 文件中，但在下一部分使用词袋进行机器学习时遇到了困难。

我已经尝试关注https://www.kaggle.com/c/word2vec-nlp-tutorial#part-1-for-beginners-bag-of-words，但是我没有成功，也无法通过查看 scikit 或 nltk 文档来理解如何处理。谁能建议我可以遵循的教程来使用 Python 3 实现词袋？ 感谢您的帮助

Answer 1

所以 scikit-learn 的 CountVectoriser 是一个很好的起点。您需要创建一个固定大小的词汇表（从您的推文中收集 N 个唯一单词），以便您可以将每条推文表示为一个固定长度的向量，其中向量中的每个位置代表您的词汇表中的一个特定单词，并且value 是该词出现的次数。

对于纯 Python，这将是：

1. 创建推文文本数组
2. 初始化一个代表您的词汇的空集

先通过推文

1. 为每条推文提取唯一的词
   • 如果这些词不存在，请将它们添加到您的词汇表中

第二次通过相同的推文

4. 为每条推文提取唯一的词
   • 创建一个用大小为 N 的零填充的向量，表示推文
   • 对于每个单词，根据单词在向量中的位置递增计数

您可以使用 1 或 0 来表示存在或不存在的词，而不是词频。看看有什么用。

然而，scikit-learn 让这一切变得更加容易。

我找到了this tutorial，这可能也有帮助。