使用 SoftmaxCrossEntropyWithLogits 的 logits 和标签必须是相同大小的错误

Question

我对 Tensorflow 完全陌生。我一直在尝试重新设计Deep MNIST 教程以预测 MovieLens 数据集上的电影评分。我稍微简化了模型，因此它不是使用 5 分制，而是简单的二进制 Y/N 评级（类似于 Netflix 上最新的评级系统）。我试图只使用部分评级来预测新项目的偏好。训练模型时，堆栈跟踪中出现以下错误：

Traceback (most recent call last):
  File "/Users/Eric/dev/Coding Academy >Tutorials/tf_impl/deep_tf_group_rec_SO.py", line 223, in <module>
    train_step.run(feed_dict={x: batch_xs, y_: batch_ys, keep_prob: 0.5})
  File "/Library/Python/2.7/site->packages/tensorflow/python/framework/ops.py", line 1550, in run
    _run_using_default_session(self, feed_dict, self.graph, session)
  File "/Library/Python/2.7/site->packages/tensorflow/python/framework/ops.py", line 3764, in >_run_using_default_session
    session.run(operation, feed_dict)
  File "/Library/Python/2.7/site->packages/tensorflow/python/client/session.py", line 767, in run
    run_metadata_ptr)
  File "/Library/Python/2.7/site->packages/tensorflow/python/client/session.py", line 965, in _run
    feed_dict_string, options, run_metadata)
  File "/Library/Python/2.7/site->packages/tensorflow/python/client/session.py", line 1015, in _do_run
    target_list, options, run_metadata)
  File "/Library/Python/2.7/site->packages/tensorflow/python/client/session.py", line 1035, in _do_call
    raise type(e)(node_def, op, message)
tensorflow.python.framework.errors_impl.InvalidArgumentError: logits and >labels must be same size: logits_size=[1,2] labels_size=[50,2]
     [[Node: SoftmaxCrossEntropyWithLogits = >SoftmaxCrossEntropyWithLogits[T=DT_FLOAT, >_device="/job:localhost/replica:0/task:0/cpu:0"](Reshape_2, Reshape_3)]]

Caused by op u'SoftmaxCrossEntropyWithLogits', defined at:
  File "/Users/Eric/dev/Coding Academy >Tutorials/tf_impl/deep_tf_group_rec_SO.py", line 209, in <module>
    cross_entropy = >tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, >logits=y_conv))
  File "/Library/Python/2.7/site->packages/tensorflow/python/ops/nn_ops.py", line 1617, in >softmax_cross_entropy_with_logits
    precise_logits, labels, name=name)
  File "/Library/Python/2.7/site->packages/tensorflow/python/ops/gen_nn_ops.py", line 2265, in >_softmax_cross_entropy_with_logits
    features=features, labels=labels, name=name)
  File "/Library/Python/2.7/site->packages/tensorflow/python/framework/op_def_library.py", line 763, in >apply_op
    op_def=op_def)
  File "/Library/Python/2.7/site->packages/tensorflow/python/framework/ops.py", line 2327, in create_op
    original_op=self._default_original_op, op_def=op_def)
  File "/Library/Python/2.7/site->packages/tensorflow/python/framework/ops.py", line 1226, in __init__
    self._traceback = _extract_stack()

InvalidArgumentError (see above for traceback): logits and labels must >be same size: logits_size=[1,2] labels_size=[50,2]
     [[Node: SoftmaxCrossEntropyWithLogits = >SoftmaxCrossEntropyWithLogits[T=DT_FLOAT, >_device="/job:localhost/replica:0/task:0/cpu:0"](Reshape_2, Reshape_3)]]

可以查看导致错误的代码here

模型中使用的变量大小：

• x (?, 1682)

• y_ (?, 2)

• x_history (?, 290, 290, 1)
• h_pool1 (?, 145, 145, 32)
• h_pool2 (?, 73, 73, 64)
• h_pool3 (?, 37, 37, 128)
• h_pool4 (?, 19, 19, 256)
• h_pool5 (?, 10, 10, 512)
• h_fc1 (?, 1024)
• h_fc1_drop (?, 1024)
• y_conv (?, 2)

Answer 1

问题在于您在此行中将输入批次（形状 50 个训练实例 x 1682 个特征）重塑为 [-1, 290, 290, 1]：

x_history = tf.reshape(x, [-1, 290, 290, 1])

您可以通过运行以下命令查看 x_history 的最终形状：

x_history.eval(feed_dict={x:batch[0], y_:batch[1], keep_prob:1.0}).shape

=> (1, 290, 290, 1)

这实际上是将您的 50 个实例的所有功能都放在一个实例中（第一个维度是 1，它需要是 50），然后通过网络的其余部分运行它。 因此，您的 cross_entropy 评估失败了，因为它无法将 50 个目标标签的批次与网络的单个输出对齐。

您需要选择图层形状，以便通过网络保留批次尺寸（形状打印输出中的 ?）。一种方法是将特征填充到 1764 并重塑为 [-1,42,42,1]，因为 42*42 = 1764。

值得注意的是，二维卷积最常用于自然是二维的图像数据。鉴于您的特征不是二维的，您最好从更简单的全连接层网络开始？

Answer 2

为了解决这个问题，我最终将批量大小从 50 减少到 1

batch = create_batches(train_data_pairs, 1)

并显着增加训练迭代次数。此外，为了准确起见，我根据大量小片测试数据测试模型，然后取该评估的平均值。

这更像是一种 hack，而不是问题的解决方案，但它让我继续探索 TensorFlow 的其他方面并以不同的方式处理数据。