【问题标题】:In sqoop export, Avro table to define schema in RDBMS在 sqoop 导出中,Avro 表在 RDBMS 中定义模式
【发布时间】:2017-06-26 23:06:57
【问题描述】:

我正在使用 SQOOP 将数据从 HDFS 加载到 mySQL,在该数据中,一条记录有 70 多个字段,因此在 RDBMS 中创建表时很难定义架构。

有没有办法使用 AVRO 表在 RDBMS 中使用 SQOOP 动态创建具有模式的表?

或者有没有什么工具可以做到这一点?

【问题讨论】:

  • Sqoop 没有这个功能,也许其他一些工具可以做到。

标签: sql hadoop hive sqoop avro


【解决方案1】:

今天的 sqoop 不支持此功能。来自 sqoop 文档

导出工具将一组文件从 HDFS 导出回 RDBMS。这 目标表必须已经存在于数据库中。输入文件是 根据用户指定读取并解析成一组记录 分隔符。

【讨论】:

  • 我知道这在 sqoop 中是支持的,但是还有其他工具可以完成这项工作吗?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-10-24
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多