减少深度神经网络的总损失 [关闭]

Question

我使用 tflearn.DNN 构建深度神经网络：

# Build neural network
net = tflearn.input_data(shape=[None, 5], name='input')
net = tflearn.fully_connected(net, 64, activation='sigmoid')
tflearn.batch_normalization(net)
net = tflearn.fully_connected(net, 32, activation='sigmoid')
tflearn.batch_normalization(net)
net = tflearn.fully_connected(net, 16, activation='sigmoid')
tflearn.batch_normalization(net)
net = tflearn.fully_connected(net, 8, activation='sigmoid')
tflearn.batch_normalization(net)
# activation needs to be softmax for classification.
# default loss is cross-entropy and the default metric is accuracy
# cross-entropy + accuracy = categorical network
net = tflearn.fully_connected(net, 2, activation='softmax')
sgd = tflearn.optimizers.SGD(learning_rate=0.01, lr_decay=0.96, decay_step=100)
net = tflearn.regression(net, optimizer=sgd, loss='categorical_crossentropy')

model = tflearn.DNN(net, tensorboard_verbose=0)

我尝试了很多东西，但总损失总是在这个值附近：

Training Step: 95  | total loss: 0.68445 | time: 1.436s
| SGD | epoch: 001 | loss: 0.68445 - acc: 0.5670 | val_loss: 0.68363 - val_acc: 0.5714 -- iter: 9415/9415

我能做些什么来减少总损失并提高准确率？

Answer 1

可以考虑许多方面来提高网络性能，包括数据集和网络。 仅通过您粘贴的网络结构，如果没有有关数据集和您想要获得的目标的更多信息，很难给出一种明确的方法来提高其准确性。但以下是一些有用的做法，可以帮助您调试/改进网络：

1.关于数据集

• 数据集是否与失真平衡？
• 获取更多训练数据。
• 如果可能，添加数据增强。
• 标准化数据。
• 特征工程。

2。关于网络

• 网络规模是否太小/太大？
• 通过训练历史检查过拟合或欠拟合，然后选择最佳 epoch 大小。
• 尝试使用不同的初始化方案初始化权重。
• 尝试不同的激活函数、损失函数、优化器。
• 更改层数和单元数。
• 更改批量大小。
• 添加 dropout 层。

为了更深入的分析，以下文章可能对你有所帮助：

• How To Improve Deep Learning Performance
• How to debug neural networks. Manual