除了文档相似度的 Doc2Vec 嵌入之外，还可以使用哪些附加功能？

Question

所以我正在做一个关于文档相似性的项目，现在我的功能只是来自 Doc2Vec 的嵌入。既然没有显示出任何好的结果，那么在文档嵌入之前的超参数优化和词嵌入之后......我还可以添加哪些其他功能，以获得更好的结果？ 我的数据集是 150 个文档，每个文档 500-700 个单词，有 10 个主题（标签），每个文档都有一个主题。文档在文档级别进行标记，并且该标记目前仅用于评估目的。

编辑：以下是对 gojomo 问题的回答，并详细说明了我对他的回答的评论：

模型的评估是在训练集上完成的。我正在比较标签是否与模型中最相似的文档相同。为此，我首先使用模型的方法“infer_vector”获取文档向量，然后使用“most_similar”获取最相似的文档。我得到的当前结果是 40-50% 的准确率。令人满意的分数至少为 65% 及以上。

由于这项研究的目的和进一步的用例，我无法获得更大的数据集，这就是为什么我被教授推荐的原因，因为这是一个大学项目，为文档添加一些额外的功能Doc2Vec 的嵌入。由于我不知道他在说什么，所以我在询问 stackoverflow 社区。

模型的最终目标是对文档进行聚类，同样，标签现在仅用于评估目的。

如果我用这个模型没有得到好的结果，我会尝试@Adnan S @gojomo 提到的更简单的模型，例如 TF-IDF、Word Mover's Distance、Bag of words，只是假设我会得到更好的结果使用 Doc2Vec。

Answer 1

正如其他人已经建议的那样，您的 150 个文档的训练集可能不足以创建良好的表示。但是，您可以尝试使用预训练模型并推断文档的向量。

这里是link，您可以在其中下载在英文维基百科页面上训练的 (1.4GB) DBOW 模型，该模型使用 300 维文档向量。我从jhlau/doc2vec GitHub 存储库获得了链接。下载模型后，您可以按如下方式使用：

from gensim.models import Doc2Vec

# load the downloaded model
model_path = "enwiki_dbow/doc2vec.bin"
model = Doc2Vec.load(model_path)

# infer vector for your document
doc_vector = model.infer_vector(doc_words)

doc_words 是文档中的单词列表。

但是，如果您的文档非常具体，这可能对您不起作用。不过你还是可以试一试。

Answer 2

您如何评估结果是否良好，您如何知道您的结果何时足够/良好？

请注意，只有 150 个 400-700 字的文档是一个很小的数据集：使用已发布的 Doc2Vec 结果的典型数据集包括数万到数百万个文档，每个文档包含数百到数千个单词。

任何Word2Vec/Doc2Vec/etc 风格的算法都很难用这么少的数据做很多事情。 （gensim Doc2Vec 实现包括一个类似的玩具数据集，包含 300 个文档，每个文档 200-300 个单词，作为其单元测试框架的一部分，为了勉强获得即使是模糊有用的结果，它必须增加训练 epoch 的数量，并显着缩小矢量大小。）

因此，如果打算使用类似Doc2Vec 的算法，您的首要任务应该是找到更多的训练数据。即使最终只有约 150 个文档很重要，收集更多使用相似领域语言的文档也有助于改进模型。

当您说有 10 个主题和每个文档 1 个主题时，不清楚您的意思。这些是人工分配的类别吗？这些类别是否包含在传递给Doc2Vec 算法的训练文本或标签中？ （包含它可能是合理的，具体取决于您的最终目标和文档相似性评估的内容。）

这些主题是否与您还提到的标签相同，您最终是在尝试预测主题，还是仅使用主题来检查相似性结果？

正如@adnan-s 在另一个答案中所建议的那样，也可能值得尝试更简单的基于计数的“词袋”文档表示，包括可能在单词 n-gram 甚至字符 n-gram 或 TF 上-IDF 加权。

如果您有足够的词向量（从您的数据或其他兼容来源训练而来），则“词移动距离”度量可能是另一种计算成对相似度的有趣方法。 （但是，在数百个单词的文本之间进行计算可能成本太高 - 在较短的文本上工作得更快。）

Answer 3

您应该尝试使用 2 克和 3 克创建 TD-IDF，以便为每个文档生成矢量表示。您必须在所有 150 个文档上训练词汇。一旦有了每个文档的 TF-IDF 向量，您就可以在其中任意两个之间使用余弦相似度。

这里是blog article 和doc page for sklearn，提供更多详细信息。