【问题标题】:Does Spark support insert overwrite static partitions?Spark 是否支持插入覆盖静态分区?
【发布时间】:2014-11-04 20:09:50
【问题描述】:

我注意到在当前的 Spark Sql 手册中不支持插入到动态分区中:

Hive 的主要功能

Spark SQL 当前不支持使用动态分区插入表。

但是,是否支持在静态分区中插入/覆盖?

【问题讨论】:

    标签: apache-spark shark-sql apache-spark-sql


    【解决方案1】:

    Spark SQL 目前不支持从 spark 1.1 版本开始使用动态分区插入表

    支持静态,需要在hive表位置写入数据。

    【讨论】:

    • 所以使用“插入覆盖表表名分区...”的现有 Hive 查询可以工作,对吗?抱歉,还没有要测试的环境设置。
    【解决方案2】:

    根据release notes,Spark 1.2.0 支持动态分区插入。参考SPARK-3007

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2021-03-28
      • 2016-12-04
      • 2018-10-03
      • 1970-01-01
      • 2019-04-03
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多