方法有几种,总结一下方便后面使用。

1. tensorflow自动维护一个tf.GraphKeys.WEIGHTS集合,手动在集合里面添加(tf.add_to_collection())想要进行正则化惩罚的变量。

然后创建 regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE),

再应用函数 regularization_loss = tf.contrib.layers.apply_regularization(regularizer=regurializer) 即可得到对集合tf.GraphKeys.WEIGHTS内的变量的正则化项。


 

2. 先创建 regularizer =  tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE),

创建变量时指定regularizer,如 w1 = tf.get_variable('w1', [100, 100], regularizer=regularizer),tensorflow会将变量加入集合 tf.GraphKeys.REGULARIZATOIN_LOSSES,

然后设置正则化系数 REGULARIZATION_RATE,通过获取上述的集合即可得到正则化损失

regularization_loss = REGULARIZATION * sum(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))。

相关文章:

  • 2021-11-24
  • 2022-12-23
  • 2022-12-23
  • 2021-06-30
  • 2022-12-23
  • 2022-12-23
  • 2022-03-04
  • 2021-09-25
猜你喜欢
  • 2021-11-04
  • 2022-12-23
  • 2022-12-23
  • 2022-01-01
  • 2022-12-23
  • 2021-06-02
相关资源
相似解决方案