我正在构建一个文档分类器来对文档进行分类。
因此第一步是将每个文档表示为“特征向量”以用于训练目的。
经过一番研究，我发现我可以使用 Bag of Words 方法或 N-gram 方法将文档表示为向量。
使用 OCR 检索每个文档（扫描的 pdf 和图像）中的文本，因此某些单词包含错误。而且我不了解这些文档中使用的语言（无法使用词干提取）。
据我所知，我必须使用 n-gram 方法。还是有其他方法来表示文档？
如果有人可以将我链接到 N-Gram 指南，以便获得更清晰的图片并了解其工作原理，我将不胜感激。
提前致谢
【问题讨论】：
标签： algorithm machine-learning document-classification feature-extraction
N-gram 只是 N 个项目的序列。在按主题分类时，您通常使用 N-gram 单词或其词根（尽管有基于 N-gram 字符的模型）。最流行的 N-gram 是 unigrams（只是单词）、bigrams（2 个连续单词）和 trigrams（3 个连续单词）。所以，从句子
你好，我叫弗兰克
你应该得到以下 unigrams：
[hello, my, name, is, frank]（或 [hello, I, name, be, frank]，如果你使用词根）
以下二元组：
[hello_my, my_name, name_is, is_frank]
等等。
最后，您的特征向量应该具有与所有文本中的单词一样多的位置（维度）加上 1 个未知单词。实例向量中的每个位置都应该以某种方式反映实例文本中相应单词的数量。这可能是出现次数、二元特征（如果单词出现则为 1，否则为 0）、标准化特征或tf-idf（在按主题分类）。
分类过程本身与任何其他域相同。
【讨论】：