【问题标题】:Data loading into Hive Table by HDFS vs Local Files通过 HDFS 与本地文件将数据加载到 Hive 表中
【发布时间】:2015-12-28 00:13:02
【问题描述】:

如果我们将数据从 HDFS 加载到 Hive 表中,与从本地文件加载数据相比有什么优势?如果我们将数据从 HFDS 加载到 Hive 中,不就是在 HDFS 中进行数据复制吗?

【问题讨论】:

    标签: hadoop hive


    【解决方案1】:

    本地到 HDFS 将变慢,因为单个大块数据将从本地传输到远程 n 节点数。

    如果您将 HDFS 文件复制到 Hive 表中,将会有数据复制,这是 Hive 管理其自己的目录的默认功能,如果您不希望复制数据,请查看此答案:Is it possible to import data into Hive table without copying the data

    【讨论】:

      猜你喜欢
      • 2023-03-19
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多