ELMo - 如何训练可训练参数

Question

我是 tensorflow-hub 的新手，遇到了 ELMo 模型 (https://www.tensorflow.org/hub/modules/google/elmo/2)。

根据原始论文，ELMo 表示是隐藏状态激活的加权平均值，这些权重可以根据手头的任务（即特定任务）进行训练。正如预期的那样，当我使用 tf.trainable_variables() 时，我可以看到 4 个可训练参数。如何在 tensorflow 中准确训练这些变量？

他们只是提到这些权重是可训练的。但谁应该训练它？ Me 还是 ELMo 模型本身训练呢？论文似乎建议我应该训练它。如果是这样，我如何在 tensorflow 中训练它？

Answer 1

您可以先将一个模块导入您的模型，并设置 trainable=True，然后像其他任何 TF 模型一样使用train 模型。在此训练过程中，模型导入的部分模块的权重也将被训练。您也可以使用this tutorial 作为一个很好的起点，只需将 nnlm 嵌入替换为 ELMo。