【问题标题】:Is defining a delimiter in a hive ORC Table useless?在配置单元 ORC 表中定义分隔符没用吗?
【发布时间】:2018-12-22 00:02:17
【问题描述】:

当您在 hive 中创建 ORC 表时,您将文件类型更改为 orc。这意味着您无法查看 orc 表之外的特定文件。

这是一个示例 orc create table 语句

CREATE TABLE IF NOT EXISTS table_orc_v1
(
col1 int,
col2 int
)
PARTITIONED BY (odate date)
CLUSTERED BY (col1) INTO 10 BUCKETS
STORED AS ORC TBLPROPERTIES('transactional'='true');

如果我尝试把它做成一个 csv 表(就像你在非兽人表上做的那样)会不会

1) 不影响表性能 2) 降低性能,因为它将内容转换为您永远无法读取的 csv 文件 3)给我一些我不知道的好处 4) 做点别的事

ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','

【问题讨论】:

    标签: hive delimiter orc


    【解决方案1】:

    如果您使用任何二进制格式(ORC、AVRO、Parquet)来存储数据,那么 ROW FORMAT DELIMITED FIELDS TERMINATED BY 将被忽略,您可以在表语法中使用它,它可能不会给您任何错误。但是它们没有被使用

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-10-19
      • 1970-01-01
      • 2018-10-26
      • 1970-01-01
      • 2017-01-20
      • 1970-01-01
      相关资源
      最近更新 更多