了解 TensorBoard（权重）直方图答案

【问题标题】：Understanding TensorBoard (weight) histograms了解 TensorBoard（权重）直方图
【发布时间】：2017-07-07 23:58:58
【问题描述】：

在 TensorBoard 中查看和理解标量值非常简单。但是，尚不清楚如何理解直方图。

例如，它们是我的网络权重的直方图。

（感谢 sunside 修复错误后）解释这些的最佳方式是什么？第 1 层的权重看起来大多是平的，这是什么意思？

我在这里添加了网络构建代码。

X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)

# First layer of weights
with tf.name_scope("layer1"):
    W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer1 = tf.matmul(X, W1)
    layer1_act = tf.nn.tanh(layer1)
    tf.summary.histogram("weights", W1)
    tf.summary.histogram("layer", layer1)
    tf.summary.histogram("activations", layer1_act)

# Second layer of weights
with tf.name_scope("layer2"):
    W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer2 = tf.matmul(layer1_act, W2)
    layer2_act = tf.nn.tanh(layer2)
    tf.summary.histogram("weights", W2)
    tf.summary.histogram("layer", layer2)
    tf.summary.histogram("activations", layer2_act)

# Third layer of weights
with tf.name_scope("layer3"):
    W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
                         initializer=tf.contrib.layers.xavier_initializer())
    layer3 = tf.matmul(layer2_act, W3)
    layer3_act = tf.nn.tanh(layer3)

    tf.summary.histogram("weights", W3)
    tf.summary.histogram("layer", layer3)
    tf.summary.histogram("activations", layer3_act)

# Fourth layer of weights
with tf.name_scope("layer4"):
    W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
                         initializer=tf.contrib.layers.xavier_initializer())
    Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
    tf.summary.histogram("weights", W4)
    tf.summary.histogram("Qpred", Qpred)

# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")

# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)

# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)

【问题讨论】：

我刚刚注意到您根本没有在最后一层使用激活。你的意思可能是tf.nn.softmax(tf.matmul(layer3_act, W4))。
@sunside 谢谢。事实证明，直方图对于调试也非常有用。我更新了图片。
@SungKim 我将您的实现用作参考，但是您如何添加偏差？像这样？ B1 = tf.get_variable("B1", shape=[hidden_layer_neurons],initializer=tf.random_normal_initializer()) 和 layer1_bias = tf.add(layer1, B1) 和 tf.summary.histogram("bias", layer1_bias)
@SungKim 如果你还有日志目录，可以上传到Aughie Boards吗？在交互式仪表板中查看直方图会很棒
@SungKim 你会通过定义input_size 来修复你的代码，以便我们可以运行它并在tensorboard 中查看结果

标签： tensorflow histogram tensorboard

【解决方案1】：

看起来网络在第一到第三层没有学到任何东西。最后一层确实发生了变化，因此这意味着梯度可能有问题（如果您手动篡改它们），您通过仅优化其权重或最后一层来限制学习到最后一层'吃掉所有错误。也可能是只学习了偏见。虽然网络似乎学到了一些东西，但它可能没有充分发挥其潜力。这里需要更多的上下文，但是玩弄学习率（例如使用较小的）可能值得一试。

通常，直方图显示一个值相对于其他值的出现次数。简单来说，如果可能的值在0..9 的范围内，并且您看到10 的值在0 上出现峰值，这意味着10 个输入假定值0；相反，如果直方图显示所有0..9 值的平台期为1，这意味着对于10 个输入，每个可能的值0..9恰好出现一次。当您通过总和对所有直方图值进行归一化时，您还可以使用直方图来可视化概率分布；如果这样做，您将直观地获得某个值（在 x 轴上）出现的可能性（与其他输入相比）。

现在对于layer1/weights，高原意味着：

大部分权重在 -0.15 到 0.15 的范围内
权重（大部分）同样可能具有这些值中的任何一个，即它们（几乎）均匀分布

换句话说，几乎相同数量的权重具有值-0.15、0.0、0.15 以及介于两者之间的所有值。有些权重的值略小或略高。简而言之，这看起来就像是使用具有零均值和值范围-0.15..0.15 的均匀分布来初始化权重...给予或接受。如果您确实使用了统一初始化，那么这在网络尚未训练时很典型。

相比之下，layer1/activations 形成类似钟形曲线（高斯）的形状：值以特定值为中心，在本例中为 0，但它们也可能大于或小于该值（同样可能如此，因为它是对称的）。大多数值都接近0 的平均值，但值的范围确实从-0.8 到0.8。我假设layer1/activations 被视为批次中所有层输出的分布。您可以看到这些值确实会随着时间而变化。

第 4 层直方图没有告诉我任何具体的信息。从形状上，它只是表明-0.1、0.05和0.25周围的一些权重值往往以更高的概率出现；可能的一个原因是，每个神经元的不同部分实际上获取相同的信息并且基本上是冗余的。这可能意味着您实际上可以使用较小的网络，或者您的网络有可能学习更多的区别特征以防止过度拟合。不过，这些只是假设。

此外，正如下面的 cmets 中所述，请添加偏置单元。通过将它们排除在外，您将网络强制限制为可能无效的解决方案。

【讨论】：

完全没有偏见可能是一个非常的坏主意 - 这真的就像试图通过（非常高维的）点云画一条线，但是强制通过值 0；它可能会起作用，并且会给你一些解决方案，但它很可能是一个坏的或完全错误的解决方案。
遗憾的是，我无法从直方图中告诉你太多信息。（虽然更新了我的答案。）
它现在可能应该训练更长的时间。特别是考虑到您的第一个结果，layer4/Qpred 看起来可能会变得更好。至于重量保持不变……我觉得这很可疑，但我现在无法理解。可能它确实是正确的分布，但鉴于根本没有变化，我觉得很难相信。
如果在激活前使用批处理规范，则没有偏差是可以的
我阅读了答案，但我仍然不清楚您在权重/偏差/激活中期望的直方图形状或直方图形状的传播，这会让您相信网络确实学习？只是没有初始化的东西？修复后，第 1 层到第 3 层在我看来是一样的。我错过了什么吗？

【解决方案2】：

在这里，我将通过一个最小的例子来间接解释这个情节。以下代码在 tensorboard 中生成一个简单的直方图。

from datetime import datetime
import tensorflow as tf
filename = datetime.now().strftime("%Y%m%d-%H%M%S")
fw = tf.summary.create_file_writer(f'logs/fit/{filename}')
with fw.as_default():
    for i in range(10):
        t = tf.random.uniform((2, 2), 1000)
        tf.summary.histogram(
            "train/hist",
            t,
            step=i
        )
        print(t)

我们看到生成最大范围为 1000 的 2x2 矩阵将产生 0-1000 的值。对于这个张量的外观，我将其中一些张量的日志放在这里。

 tf.Tensor(
[[398.65747  939.9828  ]
 [942.4269    59.790222]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[869.5309  980.9699 ]
 [149.97845 454.524  ]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[967.5063   100.77594 ]
 [ 47.620544 482.77008 ]], shape=(2, 2), dtype=float32)

我们登录了 tensorboard 10 次。在图的右侧，生成了一个时间线来指示时间步长。直方图的深度指示哪些值是新的。较亮/前面的值较新，较暗/较远的值较旧。

值被收集到由这些三角形结构指示的桶中。 x 轴表示该束所在的值的范围。

【讨论】：