ML Engine 上的 Tensorflow：副本主控 0 以非零状态 1 退出

Question

我在 ML Engine 上启动了一个 tensorflow 任务，大约 2 分钟后，我不断收到一条错误消息“replica master 0 exited with a non-zero status of 1.”

（顺便说一下，该任务在本地 ml-engine 下运行良好。）

问题：是否有任何地方或日志文件可以在其中查看有关所发生事件的更多信息？

日志查看器只提供以下内容：

{
 insertId:  "ibal72g1rxhr63"  
 logName:  "projects/**-***-ml/logs/ml.googleapis.com%2Fcnn180322_170649"  
 receiveTimestamp:  "2018-03-22T17:08:38.344282172Z"  
 resource: {
  labels: {
   job_id:  "cnn180322_170649"    
   project_id:  "**-***-ml"    
   task_name:  "service"    
  }
  type:  "ml_job"   
 }
 severity:  "ERROR"  
 textPayload:  "The replica master 0 exited with a non-zero status of 1."  
 timestamp:  "2018-03-22T17:08:38.344282172Z"  
}

提前感谢您的任何指点！

Answer 1

明显缺少日志文件的解决方案是缺少写入日志的权限。

在 IAM & admin 下，将 Logs Writer 角色添加到帐户 cloud-ml-service@<project_id>.iam.gserviceaccount.com 解决了问题，并使 master 和 worker 能够按预期将日志消息写入 Stackdriver。

有关类似讨论和一些其他信息，请参阅Stackdriver logs not available for Cloud ML jobs since migration to V2

感谢大家提供意见！

Answer 2

Stackdriver 代理可以监控许多指标并提供有关 ML 引擎的详细信息。更多详情请参考here。 AFAIK、正常事件日志记录和 Stackdriver 代理是在 GCP 上监控 ML 作业的唯一工具。

请注意，Tensorflow 中使用的 Python 2.7 可用于相对导入。您可能在本地使用了与绝对导入一起使用的 Python 3.4。这就是为什么它可以在本地工作，但不能在 Google Cloud 上工作的原因。您可以参考this post 修改您的导入语句。因此，如果您在代码顶部包含行 “from __future__ import absolute_import” ，在“import tensorflow as tf”行之前，您的代码可能会工作。