Tensorboard - 将一个完全连接的层拆分为 2 个直方图以进行可视化

Question

我知道我可以使用 tensorboard Understanding TensorBoard (weight) histograms 在直方图中可视化层的权重

我的问题，是否可以将一个完全连接的层“拆分”成两个单独的直方图？因为我有来自 2 个源的输入，这些源在通过完全连接的层之前连接，我想查看 2 个源的权重分布。下面我有一个简单的示例，其中a 和b 在通过全连接层之前连接起来。

a 的大小为 1024，b 的大小为 256。out 层有 1024 个单位。

out = tf.matmul(tf.concat(values=(a, b), axis=1), weight) + bias

Answer 1

假设您的weight 具有1280 x 1024 的形状，您可以先将split 您的weight 设为

weight_a = tf.slice(weight, [0, 0], [1024, 1024])
weight_b = tf.slice(weight, [1024, 0], [1280, 1024])

现在，您可以可视化weight_a 和weight_b。

切片也可以泛化，但由于您明确指定了每个张量的大小，因此上述方法是最快的方法。