暹罗网络的成本保持在 0.6932

Question

我正在尝试实现连体网络，如paper

在本文中，他们使用交叉熵作为损失函数

我使用 STL-10 数据集进行训练，而不是论文中使用的 3 层网络，我将其替换为 VGG-13 CNN 网络，除了最后一个 logit 层。

这是我的损失函数代码

def loss(pred,true_pred):
    cross_entropy_loss = tf.multiply(-1.0,tf.reduce_mean(tf.add(tf.multiply(true_pred,tf.log(pred)),tf.multiply((1-true_pred),tf.log(tf.subtract(1.0,pred))))))
    total_loss = tf.add(tf.reduce_sum(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)),cross_entropy_loss,name='total_loss')
    return cross_entropy_loss,total_loss

with tf.device('/gpu:0'):
    h1 = siamese(feed_image1)
    h2 = siamese(feed_image2)
    l1_dist = tf.abs(tf.subtract(h1,h2))

    with tf.variable_scope('pred') as scope:
        predictions = tf.contrib.layers.fully_connected(l1_dist,1,activation_fn = tf.sigmoid,weights_initializer = tf.contrib.layers.xavier_initializer(uniform=False),weights_regularizer = tf.contrib.layers.l2_regularizer(tf.constant(0.001, dtype=tf.float32)))

    celoss,cost = loss(predictions,feed_labels)

    with tf.variable_scope('adam_optimizer') as scope:
        optimizer = tf.train.AdamOptimizer(learning_rate=0.001)
        opt = optimizer.minimize(cost)

但是，当我进行训练时，成本几乎保持在 0.6932

我在这里使用过 Adam Optimizer。

但之前我使用的是 Momentum Optimizer。 我已尝试更改学习率，但成本仍然相同。

并且经过几次迭代，所有预测值都收敛到 0.5。

在获取两批图像（输入 1 和输入 2）的输出后，我获取它们的 L1 距离，并且我已经连接了一个具有单个输出和 sigmoid 激活函数的全连接层。

[h1和h2包含VGG-13网络的最后一个全连接层（不是logit层）的输出]

由于输出激活函数是sigmoid，并且由于预测值在0.5左右，我们可以计算出两个网络输出的加权L1距离之和接近于零。

我不明白我哪里出错了。 非常感谢您的帮助。

Answer 1

我认为不收敛可能是由梯度消失引起的。您可以使用tf.contrib.layers.optimize_loss 和张量板来跟踪梯度。您可以参考此answer 了解更多详情。

几个优化（也许）：

1) 不要自己写交叉熵。 您可以使用带有 logits API 的 sigmoid 交叉熵，因为它可以确保稳定性as documented：

  max(x, 0) - x * z + log(1 + exp(-abs(x)))

2) 做一些weigh normalization 可能会有所帮助。

3) 保持正则化损失较小。 您可以阅读this answer 了解更多信息。

4) 我不认为 tf.abs L1 距离的必要性。

这是我修改的代码。希望能帮助到你。

mode = "training"
rl_rate = .1

with tf.device('/gpu:0'):
    h1 = siamese(feed_image1)
    h2 = siamese(feed_image2)
    l1_dist = tf.subtract(h1, h2)
    # is it necessary to use abs?
    l1_dist_norm = tf.layers.batch_normalization(l1_dist, training=(mode=="training"))

    with tf.variable_scope('logits') as scope:
        w = tf.get_variable('fully_connected_weights', [tf.shape(l1_dist)[-1], 1], 
                weights_initializer = tf.contrib.layers.xavier_initializer(uniform=False), weights_regularizer = tf.contrib.layers.l2_regularizer(tf.constant(0.001, dtype=tf.float32))
                )
        logits = tf.tensordot(l1_dist_norm, w, axis=1)

        xent_loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=logits, labels=feed_labels)
        total_loss = tf.add(tf.reduce_sum(rl_rate * tf.abs(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))), (1-rl_rate) * xent_loss, name='total_loss')
        # or:
        # weights = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
        # l1_regularizer = tf.contrib.layers.l1_regularizer()
        # regularization_loss = tf.contrib.layers.apply_regularization(l1_regularizer, weights)
        # total_loss = xent_loss + regularization_loss

    with tf.variable_scope('adam_optimizer') as scope:
        optimizer = tf.train.AdamOptimizer(learning_rate=0.0005)
        opt = tf.contrib.layers.optimize_loss(total_loss, global_step, learning_rate=learning_rate, optimizer="Adam", clip_gradients=max_grad_norm, summaries=["gradients"])