如何判断一个数据集是否可以训练一个神经网络？

Question

我是机器学习的新手，这是第一个在现实世界中面临挑战的 ML 任务。

一些实验数据包含512个独立的布尔特征和一个布尔结果。

提供的数据集中大约有1e6条真实实验记录。

在一个经典的 XOR 示例中，需要 4 个可能的状态中的所有 4 个来训练 NN。就我而言，它唯一的2^(10-512) = 2^-505 接近于零。

我没有关于数据性质的更多信息，只有这些(512 + 1) * 1e6 位。

在可用数据上尝试了 1 个隐藏层的 NN。即使是来自训练集的样本上经过训练的 NN 的输出也总是接近于 0，而不是接近于“1”。玩过权重初始化，梯度下降学习率。

我的code 使用 TensorFlow 1.3、Python 3。模型摘录：

with tf.name_scope("Layer1"):
    #W1 = tf.Variable(tf.random_uniform([512, innerN], minval=-2/512, maxval=2/512), name="Weights_1")
    W1 = tf.Variable(tf.zeros([512, innerN]), name="Weights_1")
    b1 = tf.Variable(tf.zeros([1]), name="Bias_1")

    Out1 = tf.sigmoid( tf.matmul(x, W1) + b1)

with tf.name_scope("Layer2"):
    W2 = tf.Variable(tf.random_uniform([innerN, 1], minval=-2/512, maxval=2/512), name="Weights_2")
    #W2 = tf.Variable(tf.zeros([innerN, 1]), name="Weights_2")
    b2 = tf.Variable(tf.zeros([1]), name="Bias_2")

    y = tf.nn.sigmoid( tf.matmul(Out1, W2) + b2)

with tf.name_scope("Training"):
    y_ = tf.placeholder(tf.float32, [None,1])

    cross_entropy = tf.reduce_mean(
        tf.nn.softmax_cross_entropy_with_logits(
            labels = y_, logits = y)
    )

    train_step = tf.train.GradientDescentOptimizer(0.005).minimize(cross_entropy)

with tf.name_scope("Testing"):
    # Test trained model
    correct_prediction = tf.equal( tf.round(y), tf.round(y_))
# ...
# Train
for step in range(500):
    batch_xs, batch_ys = Datasets.train.next_batch(300, shuffle=False)
    _, my_y, summary = sess.run([train_step, y, merged_summaries],
        feed_dict={x: batch_xs, y_: batch_ys})

我怀疑两种情况：

1. 我的错 - NN 实现错误，架构错误；
2. 错误数据。与 XOR 示例相比，不完整的训练数据会导致 NN 失败。但是，提供给经过训练的 NN 的训练示例应该能够给出正确的预测，不是吗？

如何评估是否有可能在提供的数据上训练神经网络（2 层感知器）来预测结果？一个可接受集合的例子是 XOR 例子。反对一些随机噪音。

Answer 1

只有特殊的方法可以知道是否可以从数据集中学习具有可微分网络的函数。也就是说，这些临时方法通常确实有效。例如，网络应该能够在没有任何正则化的情况下过度拟合训练集。

衡量这一点的常用技术是仅将网络拟合到完整数据集的子集上。检查网络是否可以过拟合，然后增加子集的大小，并增加网络的大小。不幸的是，决定是添加额外层还是在隐藏层中添加更多单元是您必须做出的任意决定。

但是，查看您的代码，这里可能会出现一些问题：

1. 您的输出是否平衡？我的意思是，在数据集目标中，1 和 0 的数量是否相同？
2. 您在第一层的初始化全为零，到此的梯度将为零，因此它无法学习任何东西（尽管您在上面注释掉了一个真正的初始化）。
3. Sigmoid 非线性比 ReLU 等更简单的非线性更难优化。

我建议在 Tensorflow 中使用 built-in definitions for layers 以不必担心初始化，并在任何隐藏层中切换到 ReLU（您的布尔目标的输出需要 sigmoid）。

最后，深度学习实际上并不能很好地解决大多数“特征包”机器学习问题，因为它们缺乏结构。例如，特征的顺序无关紧要。其他方法通常效果更好，但如果您真的想使用深度学习，那么您可以查看this recent paper，通过使用非常具体的非线性和权重初始化（在上面的代码中更改 4 行）显示改进的性能。