神经网络的准确性真的很差

Question

我试图解决 Kaggle 上的 Dogs vs. Cats Redux: Kernels Edition 问题。这是一个简单的图像分类问题。但是，我比得分为 17+ 的随机预测器做得更差。有谁知道为什么会这样？

神经网络模型

def convolutional_neural_network():
    weights = {
        # 3x3x3 conv => 1x1x8
        'conv1': tf.Variable(tf.random_normal([3, 3, 3, 8])),
        # 5x5x8 conv => 1x1x16
        'conv2': tf.Variable(tf.random_normal([5, 5, 8, 16])),
        # 3x3x16 conv => 1x1x32
        'conv3': tf.Variable(tf.random_normal([3, 3, 16, 32])),
        # 32 FC => output_features
        'out': tf.Variable(tf.random_normal([(SIZE//16)*(SIZE//16)*32, output_features]))
    }

    biases = {
        'conv1': tf.Variable(tf.random_normal([8])),
        'conv2': tf.Variable(tf.random_normal([16])),
        'conv3': tf.Variable(tf.random_normal([32])),
        'out': tf.Variable(tf.random_normal([output_features]))
    }
    conv1 = tf.add(conv2d(input_placeholder, weights['conv1'], 1), biases['conv1'])
    relu1 = relu(conv1)
    pool1 = maxpool2d(relu1, 4)

    conv2 = tf.add(conv2d(pool1, weights['conv2'], 1), biases['conv2'])
    relu2 = relu(conv2)
    pool2 = maxpool2d(relu2, 2)

    conv3 = tf.add(conv2d(pool2, weights['conv3'], 1), biases['conv3'])
    relu3 = relu(conv3)
    pool3 = maxpool2d(relu3, 2)

    pool3 = tf.reshape(pool3 , shape=[-1, (SIZE//16)*(SIZE//16)*32])

    output = tf.add(tf.matmul(pool3, weights['out']), biases['out'])
    return output

输出没有激活函数。

预测、优化器和损失函数

output_prediction = convolutional_neural_network()
loss = tf.reduce_mean( tf.nn.softmax_cross_entropy_with_logits(output_prediction, output_placeholder) )
trainer = tf.train.AdamOptimizer()
optimizer = trainer.minimize(loss)
test_prediction = tf.nn.softmax(output_prediction)

图像被转换为​​大小为 128x128x3 的 numpy 数组，并以批量大小为64.

Full Code Here

编辑： 运行相同的代码 200 个 epoch。没提升。我做的稍微差一点。

Answer 1

这更像是一个评论，但没有足够的特权点：

您是否对数据进行了标准化（即将像素值除以 255）？我在脚本中看不到这样做。

当您得到像 17 logloss 这样的糟糕结果时，这意味着您的模型始终以 100% 的置信度预测一个类别。通常在这种情况下，它不是架构或学习率或时期数，而是一些愚蠢的错误，例如忘记标准化或混淆标签。对于这个特定的问题，并根据您的架构，您应该会在 40 个 epoch 内看到大约 80% 的准确度和 0.4 logloss。不需要数千个 epoch :)

Answer 2

提高准确性是一门艺术，而不是一项任务解决方案，您可以尝试以下一些方法：

• 尝试不同的梯度优化、SGD、动量、nesrov、adap、...
• 尝试自适应学习率
• 改进正则化方法 L1,L2,dropout, drop connect, ...
• 扩充您的训练数据（拥有更多数据）。
• 更改您的网络超参数
• 最后，如果没有任何帮助改变网络结构。