在 tensorflow 中训练一个 Bert 词嵌入模型

【问题标题】：Training a Bert word embedding model in tensorflow在 tensorflow 中训练一个 Bert 词嵌入模型
【发布时间】：2020-04-02 11:25:31
【问题描述】：

我有自己的纯文本语料库。我想在 TensorFlow 中训练一个 Bert 模型，类似于 gensim 的 word2vec 来获取每个单词的嵌入向量。

我发现所有示例都与分类等任何下游 NLP 任务相关。但是，我想用我的自定义语料库训练一个 Bert 模型，之后我可以获得给定单词的嵌入向量。

任何线索都会有所帮助。

【问题讨论】：

【解决方案1】：

如果您可以访问所需的硬件，则可以使用 TensorFlow 深入了解 NVIDIA 的 BERT 训练脚本。回购是here。来自medium article：

BERT-large 可以在 3.3 天内在四个 DGX-2H 节点（一个总共 64 个 Volta GPU）。

如果您没有庞大的语料库，微调可用模型可能会获得更好的结果。如果你想这样做，你可以看看拥抱脸的transformers。

【讨论】：