混淆 tensorflow hub 中 elmo 模型的参数“tokens_length”

Question

我正在 tensorflow hub 中查看 ELMo 模型，我不太清楚 tokens_length = [6, 5] 在流示例中的含义是什么： (https://tfhub.dev/google/elmo/2)

elmo = hub.Module("https://tfhub.dev/google/elmo/2", trainable=True)
tokens_input = [["the", "cat", "is", "on", "the", "mat"],
                ["dogs", "are", "in", "the", "fog", ""]]
tokens_length = [6, 5]
embeddings = elmo(
    inputs={
        "tokens": tokens_input,
        "sequence_len": tokens_length
    },
    signature="tokens",
    as_dict=True)["elmo"]

它不喜欢输入标记句子的最大长度，也不喜欢[每个句子的最大单词数，句子数]，这让我感到困惑。 有人可以解释一下吗？ 谢谢！

Answer 1

第一个示例的长度为6，第二个示例的长度为5:。即

“猫在垫子上”有 6 个字长，而“狗在雾中”只有 5 个字长。输入中额外的空字符串确实会增加一些混乱：-/

如果您阅读该页面上的文档，它会解释为什么需要这样做（bold 字体是我的）

使用标记签名，模块将标记化的句子作为输入。输入张量是一个形状为 [batch_size, ma​​x_length] 的字符串张量和一个形状为 [batch_size] 对应于句子长度的 int32 张量。 长度输入是必要的，以排除长度变化的句子的填充。