【发布时间】:2014-03-26 15:09:38
【问题描述】:
sqoop 客户端参数支持导出为 Avro 格式为,
--as-avrodatafile+
但是在查看 Hue 和 Sqoop 的客户端 Java API 时,它只支持 TEXT_FILE 和 SEQUENCE_FILE。如何启用对 AVRO 的支持以及如何使用它的任何文档? Avro 会根据列名创建架构吗?
【问题讨论】:
标签: cloudera sqoop avro sqoop2
sqoop 客户端参数支持导出为 Avro 格式为,
--as-avrodatafile+
但是在查看 Hue 和 Sqoop 的客户端 Java API 时,它只支持 TEXT_FILE 和 SEQUENCE_FILE。如何启用对 AVRO 的支持以及如何使用它的任何文档? Avro 会根据列名创建架构吗?
【问题讨论】:
标签: cloudera sqoop avro sqoop2
这里的区别在于 Sqoop 目前有两个主要版本 - Sqoop 1 和 Sqoop 2。Sqoop 1 是一个较旧的稳定版本,通过 --as-avrodatafile 参数支持 Avro 格式。 Sqoop 2 是一个新版本,从头开始完全重新设计,以解决新的用例并修复一些安全问题。遗憾的是,Sqoop 2 尚不支持 Avro。碰巧 Hue 正在使用 Sqoop 2,因此您看不到导入 Avro 的选项。如果您需要导入 Avro,您仍然可以使用 Sqoop 1。
【讨论】: