【问题标题】：TF-Hub Elmo uses which word embedding to concatenate with characters in Highway layerTF-Hub Elmo 使用哪个词嵌入与 Highway 层中的字符连接
【发布时间】：2020-12-20 20:54:07
【问题描述】：
我了解 Elmo 使用 CNN 而非字符进行字符嵌入。但是我不明白字符嵌入是如何与高速公路网络中的词嵌入连接的。在 Elmo 论文中，大多数评估都使用 Glove 进行词嵌入和 CNN 字符嵌入，这很有意义，因为他们提到了词嵌入。
但是对于像 TF-Hub 中的预训练模型，我们将哪些词嵌入与高速公路层中的字符嵌入连接起来？
如果可以的话，请帮助我理解。
【问题讨论】：
标签：
tensorflow
tensorflow-hub
elmo
【解决方案1】：
连接发生在https://tfhub.dev/google/elmo/3 模型内部。当使用word_emb 输出时，可以获得输入中每个标记的嵌入。嵌入可用于分类或其他类似于基于 BERT/transformer 的模型的建模任务。该模型还通过lstm_outputs1和lstm_outputs2提供对LSTM的一些隐藏状态的直接访问。