使用 hive 脚本从文件中删除多余的行

【问题标题】：Remove extra lines from file using hive script使用 hive 脚本从文件中删除多余的行
【发布时间】：2020-03-28 13:09:20
【问题描述】：

我有一些文本文件，其中一些有标题，一些没有，还有一些在实际记录开始之前有额外的行。有没有办法删除多余的行。基本上我正在使用指定位置的文件创建一个外部表。任何链接都会很有帮助。

基本上，没有特定的标题跨越的行数，否则我可以使用跳过标题

tblproperties ("skip.header.line.count"="1")

【问题讨论】：

标签： hive hiveql

【解决方案1】：

在这种情况下，只有过滤会有所帮助。在从表中选择期间过滤您的标题：

select t.* 
  from your_table t
 where t.col not in ('header_value1','header_value2','header_value3')

这也将过滤掉 NULL。要允许 NULL，请添加 OR t.col is NULL

【讨论】：