ml-engine 模糊错误：“grpc epoll fd：3”答案

【问题标题】：ml-engine vague error: "grpc epoll fd: 3"ml-engine 模糊错误：“grpc epoll fd：3”
【发布时间】：2018-06-01 05:44:25
【问题描述】：

我正在尝试使用 gcloud ml-engine jobs submit training 进行训练，但作业卡在日志中的以下输出中：

我的 config.yaml：

trainingInput:
  scaleTier: CUSTOM
  masterType: standard_gpu
  workerType: standard_gpu
  parameterServerType: large_model
  workerCount: 1
  parameterServerCount: 1

关于“grpc epoll fd: 3”是什么意思以及如何解决的任何提示？我的输入函数是从 gs:// 提供 16G TFRecord，但批处理 = 4，shuffle buffer_size = 4。每个输入样本都是一个单通道 99 x 161px 图像：形状 (15939) - 不是很大。

谢谢

【问题讨论】：

该日志行是信息性的，它被错误地标记为错误。
几个问题：您使用的是哪个版本的 TensorFlow？您是否安装了自定义 TensorFlow？你用过 tf.estiamtors 吗？如果是，您是否调用了 train 或 train_and eval？
那是在谷歌云上运行 tf 1.4.1。这是一个相关的对话，带有示例代码groups.google.com/a/tensorflow.org/forum/m/#!topic/discuss/…

标签： machine-learning tensorflow grpc google-cloud-ml

【解决方案1】：

也许这是 Estimator 实现中的一个错误，不确定。现在的解决方案是使用@guoqing-xu 建议的tf.estimator.train_and_eval

工作样本

train_input_fn = gen_input(FLAGS.train_input)
eval_input_fn = gen_input(FLAGS.eval_input)

model_params = {
  'learning_rate': FLAGS.learning_rate,
}

estimator = tf.estimator.Estimator(model_dir=model_dir, model_fn=model_fn, params=model_params)
train_spec = tf.estimator.TrainSpec(input_fn=train_input_fn, max_steps=1000)
eval_spec = tf.estimator.EvalSpec(input_fn=eval_input_fn, steps=None, start_delay_secs=30, throttle_secs=30)

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

【讨论】：

感谢您的总结！我们将创建文档来解释何时使用什么。
它看起来有点老套。有关如何正确解决此问题的任何更新？