【问题标题】:jar containing org.apache.hadoop.hive.dynamodb包含 org.apache.hadoop.hive.dynamodb 的 jar
【发布时间】:2013-06-13 01:05:42
【问题描述】:

我试图以编程方式将 dynamodb 表加载到 HDFS 中(通过 java 和 not hive),我无法在网上找到如何做到这一点的示例,所以我想下载包含org.apache.hadoop.hive.dynamodb 并对过程进行逆向工程。

很遗憾,我也找不到该文件 :(.

谁能帮我回答以下问题(按优先顺序列出)。

  1. 将 dynamodb 表加载到 HDFS 中的 Java 示例(可以作为表输入格式传递给映射器)。
  2. 包含 org.apache.hadoop.hive.dynamodb 的 jar。

谢谢!

【问题讨论】:

    标签: mapreduce amazon-dynamodb elastic-map-reduce emr


    【解决方案1】:

    它位于hive-bigbird-handler.jar。不幸的是,AWS 没有提供任何来源,或者至少没有提供关于它的 Java Doc。但是您可以在 EMR 集群的任何节点上找到该 jar:

    /home/hadoop/.versions/hive-0.8.1/auxlib/hive-bigbird-handler-0.8.1.jar
    

    您可能想查看这篇文章:

    很遗憾,亚马逊尚未公布 hive-bigbird-handler.jar,考虑到它的用处,这是一种耻辱。 特别值得注意的是,它似乎还包括内置支持 Hadoop 的输入和输出格式,因此可以直接编写 MapReduce 作业,直接写入 DynamoDB。

    提示:搜索hive-bigbird-handler.jar 以获取有趣的部分... ;-)

    【讨论】:

      【解决方案2】:

      1- 我不知道有任何此类示例,但您可能会发现这个library 很有用。它提供 InputFormats、OutputFormats 和 Writable 类,用于在 Amazon DynamoDB 表中读取和写入数据。

      2- 我认为他们没有公开发布。

      【讨论】:

      • 感谢塔里克的信息! (特别是2)。帮助挽救了我几个小时的生命:)
      猜你喜欢
      • 1970-01-01
      • 2012-05-08
      • 1970-01-01
      • 1970-01-01
      • 2010-09-16
      • 2014-08-22
      • 1970-01-01
      • 2014-01-17
      相关资源
      最近更新 更多