如何知道应该向“广泛和深度学习”模型提供多少数据？答案

【问题标题】：How to know the amount of data should be fed to "wide and deep learning" model?如何知道应该向“广泛和深度学习”模型提供多少数据？
【发布时间】：2017-09-20 07:20:35
【问题描述】：

我是深度学习的初学者，按照tensorflow wide_n_deep_learning_tutorial的代码，我想用自己的数据设计自己的预测模型。数据非常大，超过 100 万个示例，我必须确定应该为模型提供多少数据进行训练。据我所知，旧方法是像这样

绘制曲线（数据和分数之间的关系）

专注于广泛和深度学习的示例代码，有没有办法在 tensorboard 中绘制该曲线，或者有没有其他方法可以找出数据量与模型准确性之间的关系？

【问题讨论】：

标签： python tensorflow deep-learning

【解决方案1】：

您可以使用本质上是日志的 Tensorflow 摘要来做到这一点。为了编写日志，您需要一个日志写入器（或在 tensorflow 中称为）一个 SummaryWriter。所以你应该在你的火车循环之前添加以下行。

writer = tf.train.SummaryWriter(logs_path, graph=tf.get_default_graph())

这将创建一个日志文件夹并保存图形结构。训练结束后，您可以启动 tensorboard，它会显示所有图表。

tensorboard --logdir=<your-path-to-the-log-dir> --port 6006

编辑：要记录动态值，您必须添加更多类似这样的指令

tf.scalar_summary("cost", cross_entropy)
tf.scalar_summary("accuracy", accuracy)

如需简短的教程，请转到 here（已弃用）

Here你可以找到基于MNIST例子的Tensorboard官方教程

【讨论】：

感谢您的帮助，但是，该解决方案已弃用，示例代码还将所有曲线记录在一个文件夹中，但它适用于一个适合大小的数据集，我不知道如何确定数据就够了
如果您的数据很大，那么您应该在大约 10% 的数据的分层样本上测试您的模型。您还可以将 Keras 用作 Tensorflow 的高级 API，它可以轻松地回调到 Tensorboard。只是为了测试你以后是否想继续使用纯 Tensorflow。