【问题标题】:import postgres dump file to hdfs or hive table?将 postgres 转储文件导入 hdfs 或 hive 表?
【发布时间】:2018-10-18 12:45:56
【问题描述】:

我有一个 postgreSQL 数据库的转储文件,大小为 10 GB。

我知道我们可以使用SqoopPostgreSQL 导入HDFS,但是我需要将此文件导入hdfs 或按原样导入hive(转储文件)?

【问题讨论】:

  • 更多关于所需转储格式的信息
  • 为什么要用sqoop,可以用hdfs dfs -put <source> <dest-in-hdfs>
  • 你想把它作为一个文件还是一个表格?
  • 我想把它作为一个表格。它的格式是 .pgdump。
  • 我想在 hive 上有表,因为它们在 postgres 中

标签: python postgresql hive hdfs sqoop


【解决方案1】:

is this existing github repository 允许加载 postgres 转储 直接进入蜂巢表

【讨论】:

    猜你喜欢
    • 2011-08-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-07-12
    • 2017-12-01
    • 2019-10-31
    • 2011-06-30
    • 2017-08-29
    相关资源
    最近更新 更多