【问题标题】:Importing data from S3 to DynamoDB将数据从 S3 导入 DynamoDB
【发布时间】:2016-07-27 09:07:34
【问题描述】:

我正在尝试将已上传到 S3 的 JSON 文件导入 DynamoDB

我按照亚马逊给出的教程进行操作

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-console-start.html

但是当我尝试激活管道时,组件 TableLoadActivity 失败并且 DBDDestinationTable 显示 CASCADE_FAILED

两者都报错

在 org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:512) 在 org.apache.hadoop.mapreduce 的 org.apache.hadoop.mapreduce.JobSubmitter.writeOldSplits(JobSubmitter.java:520)。 JobSubmitter.submitJobInternal(JobSubmitter.java:394) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) 在 org .apache.hadoop.mapreduce.Job.submit(Job.java:1282) at org.apache.hadoop.mapred.JobClient$1.run(JobClient.java:562) at org.apache.hadoop.mapred.JobClient$1.run (JobClient.java:557) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation .java:1548) 在 org.apache.hadoop.mapred.JobClient.submit工作内部(

任何帮助将不胜感激

【问题讨论】:

  • 我遇到了类似的错误,因为我选择了准确的 json 文件。所以解决办法是选择json和manifest文件所在的文件夹

标签: amazon-s3 amazon-dynamodb amazon-data-pipeline


【解决方案1】:

我发现您必须选择存在“清单”的内部文件夹。 这用于作为备份日期和时间的文件夹。

我在选择父文件夹时收到了这个错误,我给了我的表名。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-11-09
    • 2014-03-12
    • 1970-01-01
    • 2019-08-28
    • 2015-04-09
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多