tensorflow调整最近邻方法不优化权重答案

【问题标题】：tensorflow resize nearest neighbor approach don't optmize weightstensorflow调整最近邻方法不优化权重
【发布时间】：2017-04-04 00:43:46
【问题描述】：

我是 tensorflow 的初学者，我正在研究一个 Model，它为灰度图像着色，并且在论文的最后一部分模型中说：

特征融合后，由一组处理卷积和上采样层，后者由简单的使用最近邻技术对输入进行上采样，使得输出是两倍宽和两倍高。

当我尝试在 tensorflow 中实现它时，我使用 tf.image.resize_nearest_neighbor 进行 上采样 但是当我使用它时，我发现除了第二个 epoch 之外的所有 epoch 的成本都没有变化，并且没有它的成本被优化和改变了

这部分代码

def Model(Input_images):

   #some code till the following last part

    Color_weights = {'W_conv1':tf.Variable(tf.random_normal([3,3,256,128])),'W_conv2':tf.Variable(tf.random_normal([3,3,128,64])),
             'W_conv3':tf.Variable(tf.random_normal([3,3,64,64])),
             'W_conv4':tf.Variable(tf.random_normal([3,3,64,32])),'W_conv5':tf.Variable(tf.random_normal([3,3,32,2]))}

    Color_biases = {'b_conv1':tf.Variable(tf.random_normal([128])),'b_conv2':tf.Variable(tf.random_normal([64])),'b_conv3':tf.Variable(tf.random_normal([64])),
            'b_conv4':tf.Variable(tf.random_normal([32])),'b_conv5':tf.Variable(tf.random_normal([2]))}    

    Color_layer1 = tf.nn.relu(Conv2d(Fuse, Color_weights['W_conv1'], 1) + Color_biases['b_conv1']) 

    Color_layer1_up = tf.image.resize_nearest_neighbor(Color_layer1,[56,56])

    Color_layer2 = tf.nn.relu(Conv2d(Color_layer1_up, Color_weights['W_conv2'], 1) + Color_biases['b_conv2']) 
    Color_layer3 = tf.nn.relu(Conv2d(Color_layer2, Color_weights['W_conv3'], 1) + Color_biases['b_conv3']) 

    Color_layer3_up =  tf.image.resize_nearest_neighbor(Color_layer3,[112,112])
    Color_layer4 = tf.nn.relu(Conv2d(Color_layer3, Color_weights['W_conv4'], 1) + Color_biases['b_conv4']) 

    return Color_layer4

培训代码

 Prediction = Model(Input_images) 
    Colorization_MSE = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(Prediction,tf.Variable(tf.random_normal([2,112,112,32]))))
    Optmizer = tf.train.AdadeltaOptimizer(learning_rate= 0.05).minimize(Colorization_MSE)
    sess = tf.InteractiveSession()    
    sess.run(tf.global_variables_initializer()) 
    for epoch in range(EpochsNum):
        epoch_loss = 0
        Batch_indx = 1
        for i in range(int(ExamplesNum / Batch_size)):#Over batches
           print("Batch Num ",i + 1)
           ReadNextBatch()
           a, c = sess.run([Optmizer,Colorization_MSE],feed_dict={Input_images:Batch_GreyImages})
           epoch_loss += c
        print("epoch: ",epoch + 1, ",Los: ",epoch_loss)

那么我的逻辑有什么问题，或者问题出在哪里 tf.image.resize_nearest_neighbor我应该怎么做或者它的替代品是什么？

【问题讨论】：

标签： machine-learning tensorflow neural-network deep-learning conv-neural-network

【解决方案1】：

好的，我解决了，我注意到 tf.random normal 是问题所在，当我用 tf.truncated normal 替换它时效果很好

【讨论】：