【问题标题】:Tensorflow: Trainable Variable MaskingTensorflow:可训练的变量掩蔽
【发布时间】:2017-11-30 04:13:55
【问题描述】:

我正在研究一个卷积神经网络,它要求 a 内核权重的某些部分无法训练。 tf.nn.conv2d(x, W) 将可训练变量 W 作为权重。如何使 W 的某些元素无法训练?

【问题讨论】:

  • 您的意思是您希望权重矩阵的各个元素不可训练吗?或者你希望你的一些节点是不可训练的?我想这不是辍学可以解决的问题吗?
  • 我的意思是我希望权重矩阵的各个元素不可训练。

标签: tensorflow mask convolution


【解决方案1】:

也许您可以拥有可训练的权重 W1、指示可训练变量位置的掩码 M,以及恒定/不可训练的权重矩阵 W2,然后使用

W = tf.multiply(W1, tf.cast(M, dtype=W1.dtype)) + tf.multiply(W2, tf.cast(tf.logical_not(M), dtype=W2.dtype)) 

【讨论】:

    猜你喜欢
    • 2018-06-30
    • 1970-01-01
    • 1970-01-01
    • 2022-01-25
    • 2020-07-16
    • 1970-01-01
    • 2019-12-07
    • 1970-01-01
    • 2019-05-07
    相关资源
    最近更新 更多