如何在 TensorFlow 中计算类激活图？

Question

我了解类激活图的定义以及如何在 Numpy 中生成它。 但是，我不确定如何在 TensorFlow 中计算它，尤其是在 batch_size 维度未知的情况下。

目前，我已经获得了我最后一个卷积层“激活”的激活。 GAP后最后一个全连接层的权重矩阵为“last_fc_w”。

我想像这样计算类激活图：

cam = tf.matmul(activation, last_fc_w)

但是，我收到以下错误： *** ValueError：形状必须为 2 级，但对于输入形状为 [?,10,10,576]、[576,2] 的“MatMul”（操作：“MatMul”）为 4 级。

激活张量的形状是 [?,10,10,576]，其中 ?是 batch_size 维度。 全连接层权重的形状为[576, 2]，其中2为类数，576为最后一个卷积层的通道数。

预期的输出将是一个大小为 [?, 10,10,2] 的张量，这是这 2 个类的类激活图。谁能提供一些关于如何实现这一目标的指导？

Answer 1

你可以试试keras.backend.dot

import tensorflow as tf
import numpy as np
x = tf.placeholder(shape=[None, 32, 32, 3], dtype=tf.float32)
out = tf.keras.layers.Conv2D(576, (3,3), padding='same', activation='relu')(x)
w = tf.Variable(tf.glorot_normal_initializer()([576, 2]))
print(out.shape)
cam = tf.keras.backend.dot(out, w)
print(cam.shape)

但在更高的 TF 版本（针对 1.15.0 测试）中，您现有的代码将可以工作。我测试了以下代码。

import tensorflow as tf
import numpy as np
x = tf.placeholder(shape=[None, 32, 32, 3], dtype=tf.float32)
out = tf.keras.layers.Conv2D(576, (3,3), padding='same', activation='relu')(x)
w = tf.Variable(tf.glorot_normal_initializer()([576, 2]))
print(out.shape)
cam = tf.matmul(out, w)
print(cam.shape)

从激活图创建掩码

简单！

threshold = 0.5
mask = tf.cast(tf.less(cam, threshold), tf.float32) * cam