在训练期间监控权重稀疏度

Question

我想知道是否可以在训练期间监控整个网络（不仅仅是一层）的非零权重的百分比？

例如，我用

optim = AdagradDAOptimizer(learning_rate=0.01).minimize(my_loss)

和

for i in range(10):
  sess = tf.Session()
  loss, _ = sess.run([my_loss, optim])

并且我想在每次迭代后打印非零权重数与所有权重数的比率。有可能吗？

Answer 1

以下代码计算非零权重的数量。

import tensorflow as tf
import numpy as np

tvars = sess.run(tf.trainable_variables())
nonzero_parameters = np.sum([np.count_nonzero(var) for var in tvars])

这里显示了如何计算权重总数：How to count total number of trainable parameters in a tensorflow model?。