填充后如何生成注意蒙版？

Question

在将具有 4 维 [4, 5, 129, 24] 在第二和第三维的张量 A 填充到 [4, 6, 136, 24]，如何生成它的注意力掩码？

我想出了两个解决方案：

• 第一个是创建一个喜欢A_pad的零张量A_attention，然后遍历A将1填充到A_attention中的相关位置。
• 第二个是在填充过程中创建注意掩码。但这似乎有点麻烦，因为初始张量 A 有 4 个维度。

有没有什么方法可以在填充后更有效地生成注意力掩码？有 API 吗？

非常感谢。

Answer 1

您可以尝试使用 Hugging Face 中的 Transformers 库，它提供了一个非常有用的tokenizer。

我建议您阅读整个快速入门，但原则上，this is the part 您感兴趣。