【问题标题】:Sqoop2 Avro SupportSqoop2 Avro 支持
【发布时间】:2014-03-26 15:09:38
【问题描述】:

sqoop 客户端参数支持导出为 Avro 格式为,

--as-avrodatafile+

但是在查看 Hue 和 Sqoop 的客户端 Java API 时,它只支持 TEXT_FILE 和 SEQUENCE_FILE。如何启用对 AVRO 的支持以及如何使用它的任何文档? Avro 会根据列名创建架构吗?

【问题讨论】:

    标签: cloudera sqoop avro sqoop2


    【解决方案1】:

    这里的区别在于 Sqoop 目前有两个主要版本 - Sqoop 1 和 Sqoop 2。Sqoop 1 是一个较旧的稳定版本,通过 --as-avrodatafile 参数支持 Avro 格式。 Sqoop 2 是一个新版本,从头开始完全重新设计,以解决新的用例并修复一些安全问题。遗憾的是,Sqoop 2 尚不支持 Avro。碰巧 Hue 正在使用 Sqoop 2,因此您看不到导入 Avro 的选项。如果您需要导入 Avro,您仍然可以使用 Sqoop 1。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-11-08
      • 1970-01-01
      相关资源
      最近更新 更多