如何在自定义 tf.keras.layers.Layer 中支持遮罩

Question

我正在实现一个需要支持屏蔽的自定义 tf.keras.layers.Layer。

考虑以下场景

embedded = tf.keras.layer.Embedding(input_dim=vocab_size + 1, 
                                    output_dim=n_dims, 
                                    mask_zero=True)
x = MyCustomKerasLayers(embedded)

现在根据文档

mask_zero: 输入值 0 是否是一个特殊的“填充”值，应该被屏蔽掉。这在使用可能采用可变长度输入的循环层时很有用。 如果为 True，则模型中的所有后续层都需要支持屏蔽，否则将引发异常。如果 mask_zero 设置为 True，则索引 0 不能在词汇表中使用（input_dim 应该等于词汇表的大小 + 1）。

我想知道，这是什么意思？查看TensorFlow's custom layers guide 和tf.keras.layer.Layer 文档，不清楚应该做些什么来支持屏蔽

1. 如何支持屏蔽？

2. 如何从过去的图层访问蒙版？

3. 假设输入 (batch, time, channels) 或 `(batch, time) 掩码看起来会有所不同吗？它们的形状是什么？

4. 如何将其传递到下一层？

Answer 1

1. 要支持屏蔽，应在自定义层内实现compute_mask 方法

2. 要访问掩码，只需在call 方法中添加参数mask 作为第二个位置参数，即可访问（例如call(self, inputs, mask=None)）

3. 这个猜不出来，是layer的before负责计算mask

4. 一旦你实现了compute_mask，将掩码传递到下一层会自动发生 - 不包括模型子类化的情况，在这种情况下，由你来计算掩码并传递它们。

例子：

class MyCustomKerasLayers(tf.keras.layers.Layer):
    def __init__(self, .......):
        ...

    def compute_mask(self, inputs, mask=None):
        # Just pass the received mask from previous layer, to the next layer or 
        # manipulate it if this layer changes the shape of the input
        return mask

    def call(self, input, mask=None):
        # using 'mask' you can access the mask passed from the previous layer

注意这个例子只是传递了掩码，如果图层输出的形状与接收到的不同，您应该在compute_mask中相应地更改掩码以传递正确的形状

编辑

现在解释也包含在tf.keras masking and padding documentation中。