我用create table t(name string, age int) stored as parquet 创建了一个配置单元表。
然后我插入一些数据，有的使用gzip压缩，有的使用snappy压缩。即对应的HDFS目录下有gzip文件和snappy文件。
查询时看到gzip和snappy中的数据都被查询出来了，我的问题是Hive在处理文件的时候是如何检测到使用的是哪个压缩编解码器？
【问题讨论】：
标签： hadoop hive compression
仅检查元数据并获取压缩信息是不够的。您可以轻松地将压缩和未压缩文件混合在一个表目录中，它会起作用。所以在文件本身中为每个文件定义了压缩编解码器。
这个关于编解码器的信息写在文件的哪个部分？
这取决于文件类型。
表元数据包含有关文件类型的信息（可以在表 DDL 中指定为STORED AS ...）
所以，首先 Hive 读取元数据来获取文件类型。
根据文件类型（文本、orc、parquet 等），编解码器信息存储在文件页眉或页脚中。
每种文件类型都有对应的阅读器。 读者知道如何阅读编解码器信息。例如the ORC reader reads the last 16k bytes of the file with the hope that it will contain both the Footer and Postscript sections。 ORC 中的 PostScript 部分包含编解码器信息。
文本文件在标题中包含编解码器信息，等等... 所以，简短的回答是：相应的文件阅读器知道从哪里获取有关压缩编解码器的信息。
【讨论】：
Hive 检测它的方式与您描述表格的方式相同：
DESCRIBE [EXTENDED|FORMATTED] table_name（详细信息https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL）
上面的命令将显示所有表属性，无论它是压缩的还是它正在使用哪种类型的压缩，以及与您的 hive 表相关的大量其他属性。
因此，在读取您的查询时，“HQL 引擎”会首先读取您的表的元数据，因为 HIVE 遵循 Schema on read 现象（更多详细信息 http://www.centurylink.com/business/enterprise/blog/thinkgig/data-lakes-schema-on-read-vs-schema-on-write/）
【讨论】：
在 hive 中创建表时，我们定义以下字段。
行格式 SERDE
存储为文件格式
位置 hdfs_path
文件格式 列位置和分隔符..
查看表定义。已添加compression / decompression
【讨论】：