在 Tensorboard 中绘制各个层的梯度

Question

我有一个 GCMLE 实验，我想在 tensorflow 中绘制逐层梯度的全局范数。我可以在 tensorflow 中使用所有梯度的全局范数，但我想专门为嵌入绘制梯度。这是我当前的代码

gradients, variables = zip(*train_op.compute_gradients(loss))
tf.summary.scalar("gradients", tf.global_norm(gradients)) 

我也知道我应该能够使用tf.trainable_variables() 获取所有变量，但我不确定分离每一层的最简单方法是什么？我猜我需要知道每个层/变量名称并创建代表感兴趣的特定变量的张量？我认为它需要是这样的：

list_of_embedding_variables = [somehow grab the relevant names from tf.trainable_variables]
embedding_gradients = [g for g,v in zip(gradients, variables) if variables in list_of_embedding_variables]
tf.summary.scalar("embedding_gradients", tf.global_norm(gradients))

因为我将此作为 GCMLE 实验运行，所以我无权访问 sess.run()/print 所有变量名。有没有办法从 GCMLE 实验中查看保存的图表中的 tf.trainable_variables() 列表？或者在 tensorboard 中显示这些变量名？

选项 1

我的一个想法是我应该创建感兴趣变量的集合——例如，如果我的嵌入序列是：

embedding_sequence = tf.contrib.layers.embed_sequence(sequence, 
        vocab_size=n_tokens, embed_dim=word_embedding_size)
tf.add_to_collection("embedding_collection", embedding_sequence)

tf.summary.scalar("embedding_gradients",tf.global_norm(tf.get_collection("embedding_collection")

Answer 1

类似这样的：

        grads_and_vars=train_op.compute_gradients(loss)
        for g, v in grads_and_vars:
            if g is not None:
                #print(format(v.name))
                grad_hist_summary = tf.summary.histogram("{}/grad_histogram".format(v.name), g)
                sparsity_summary = tf.summary.scalar("{}/grad/sparsity".format(v.name), tf.nn.zero_fraction(g))
                train_summary.append(grad_hist_summary)
                train_summary.append(sparsity_summary)
         tf.summary.merge(train_summary)

让我知道这是否有效。