如何将数据集转换为 glove 或 word2vec 格式？

Question

我下载了我的 twitter 存档，并想运行 word2vec 来试验最相似的单词、类比等。

但我被困在第一步 - 如何转换给定的数据集/csv/文档，以便可以将其输入到 word2vec？即，将数据转换为 glove/word2vec 格式的过程是什么？

Answer 1

word2vec 和 GLoVe 算法的典型实现会执行以下一项或两项操作：

• 接受纯文本文件，其中标记由（一个或多个）空格分隔，并且文本一次被视为每个换行符分隔的行（行不是“太长” - 通常是短文章或每行的段落或句子）

• 有一些特定于语言/库的接口，用于将文本（令牌列表）作为流/可迭代提供给算法

Python Gensim 库为其Word2Vec 类提供了这两种选项。

在将此类库应用于您自己的数据之前，您通常应该尝试完成一个或多个教程，以大致了解所涉及的步骤，从原始数据到有趣的结果。而且，通过检查这些教程使用的格式——以及他们执行的额外步骤，以将数据转换为您正在使用的库所需的格式——您还将了解如何准备数据的想法。