fastText 的输入格式是什么，为什么我的模型没有给我一个有意义的类似输出？

Question

我的目标是找到单词和文档之间的相似之处。例如，我想查找“new”和文档之间的相似性，为简单起见，说“Hello World！”。

我使用了 gensim 的 word2vec，但问题是它没有找到一个看不见的单词的相似性。因此，我尝试使用 gensim 的 fastText，因为它可以找到词汇表之外的单词的相似性。

这是我的文档数据示例：

[['This', 'is', 'the', 'only', 'rule', 'of', 'our', 'household'],
 ['If',
  'you',
  'feel',
  'a',
  'presence',
  'standing',
  'over',
  'you',
  'while',
  'you',
  'sleep',
  'do'],
 ['NOT', 'open', 'your', 'eyes'],
 ['Ignore', 'it', 'and', 'try', 'to', 'fall', 'asleep'],
 ['This',
  'may',
  'sound',
  'a',
  'bit',
  'like',
  'the',
  'show',
  'Bird',
  'Box',
  'from',
  'Netflix']]

我只是像这样训练数据：

from gensim.models.fasttext import FastText

model = FastText(sentences_cleaned)

因此，我想找出“规则”与此文档之间的相似性。

model.wv.most_similar("rule")

然而，fastText 给了我这个：

[('the', 0.1334390938282013),
 ('they', 0.12790171802043915),
 ('in', 0.12731242179870605),
 ('not', 0.12656228244304657),
 ('and', 0.11071767657995224),
 ('of', 0.08563747256994247),
 ('I', 0.06609072536230087),
 ('that', 0.05195673555135727),
 ('The', 0.002402491867542267),
 ('my', -0.009009800851345062)]

显然，由于“规则”一词出现在文档的第一句话中，因此它必须具有“规则”作为最高相似度。我也尝试了词干提取/词形还原，但它也不起作用。

我的输入格式正确吗？我看到很多文档都使用 .cor 或 .bin 格式，但我不知道它们是什么。

感谢您的回复！

Answer 1

model.wv.most_similar('rule') 要求该模型的词向量集 (.wv) 返回与 'rule' 最相似的词。也就是说，您既没有提供任何文档（多个单词）作为查询，也没有任何方法让 FastText 模型返回文档本身或任何文档的名称。只是文字，就像它所做的那样。

虽然 FastText 训练文本（词标记列表），但它只对词/子词进行建模。所以不清楚你的期望是什么：答案是正确的形式。

那些看起来不太像 'rule' 的词，但如果你用大量不同的数据训练它们，你只会从 FastText （和类似的 word2vec 算法）中得到好的结果，这些数据显示了许多微妙的 -对比相关词的实际用法。

您的sentences_cleaned 数据中有多少文本，多少字？ （'rule'和相关词有多少用法？）

在任何真实的FastText/Word2Vec/etc 模型中，使用相同的数据/参数进行训练，没有一个句子（如您的第一句话）可以告诉您“应该”的结果是什么。这只是从完整的丰富数据集中出现的。