【问题标题】:AWS data pipeline job failing but there is no error message or error codeAWS 数据管道作业失败,但没有错误消息或错误代码
【发布时间】:2013-09-13 02:11:11
【问题描述】:

我尝试运行数据管道作业,但 EmrActivity 步骤达到 FAILED 状态但没有错误代码或错误消息:

名称: @EMR 集群执行工作_2013-09-03T16:15:00 查看实例字段 描述: 最近尝试次数:3,剩余尝试次数:0 选择此实例的尝试:

状态: 失败的 错误代码: 错误信息:

知道为什么吗?在哪里可以找到有关潜在问题的更多信息?

工作很简单:启动 EMR 集群并运行一个 pig 脚本(其中 xxx 是我的存储桶名称):

{ “对象”:[ { "id":"默认", “failureAndRerunMode”:“级联” }, { "id" : "MyScheduleID", “类型”:“时间表”, "期间" : "1 小时", “开始日期时间”:“2013-09-03T19:00:00”, “结束日期时间”:“2013-09-03T20:00:00” }, { "id" : "MyEmrCluster", "name" : "执行工作的 EMR 集群", “类型”:“EmrCluster”, “hadoopVersion”:“0.20”, “masterInstanceType”:“m1.small”, “coreInstanceType”:“m1.medium”, “coreInstanceCount”:“2”, "terminateAfter": "1 小时", “日程”: { "ref": "MyScheduleID" }, "logUri":"s3://xxx/amazonlogs", "emrLogUri":"s3://xxx/amazonlogs" }, { "id" : "MyEmrActivity", "name" : "对我的数据执行的工作", “类型”:“EmrActivity”, “runsOn”:{“ref”:“MyEmrCluster”}, “日程”: { "ref": "MyScheduleID" }, “步骤”:“s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://us-east-1.elasticmapreduce/libs/pig/pig-script,- -base-path,s3://us-east-1.elasticmapreduce/libs/pig/,--install-pig,--pig-versions,latest", “步骤”:“s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://us-east-1.elasticmapreduce/libs/pig/pig-script,- -base-path,s3://us-east-1.elasticmapreduce/libs/pig/,--pig-versions,latest,--run-pig-script,--args,-f,s3://xxx /carls_minimal_script.pig" } ] }

这个配置看起来好吗? 我在 s3://xxx/amazonlogs 中没有看到任何内容

【问题讨论】:

    标签: amazon-web-services amazon-data-pipeline


    【解决方案1】:

    您可以尝试以下几件事

    1. 进入“https://console.aws.amazon.com/elasticmapreduce/home”,找到对应启动的集群(根据时间戳),点击“Debug”,应该可以找到每个步骤的日志。

    2. 或者从 AWS 控制台启动一个 EMR 集群,登录到 Master 节点,运行 Pig 脚本来检查它是否工作。

    【讨论】:

      猜你喜欢
      • 2021-04-03
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-01-15
      • 1970-01-01
      • 1970-01-01
      • 2020-10-02
      • 1970-01-01
      相关资源
      最近更新 更多