Presto 是否支持快速压缩的 RC 文件？答案

【问题标题】：Does Presto support RC file with snappy compression?Presto 是否支持快速压缩的 RC 文件？
【发布时间】：2013-11-29 09:15:45
【问题描述】：

尝试在 CDH4 集群上使用 Presto 读取 snappy 压缩表。 Hive 可以读取表格，但 Presto 抱怨缺少原生库。

从 CDH 添加 java.library.path 似乎没有帮助。（添加到 jvm.config）

-Djava.library.path=/opt/cloudera/parcels/CDH-4.4.0-1.cdh4.4.0.p0.39/lib/hadoop/lib/native

这是堆栈跟踪

Caused by: java.lang.RuntimeException: native snappy library not available: SnappyCompressor has not been loaded.
at org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded(SnappyCodec.java:68) ~[na:na]
at org.apache.hadoop.io.compress.SnappyCodec.createDecompressor(SnappyCodec.java:196) ~[na:na]
at org.apache.hadoop.hive.ql.io.CodecPool.getDecompressor(CodecPool.java:35) ~[na:na]
at org.apache.hadoop.hive.ql.io.RCFile$Reader.init(RCFile.java:1314) ~[na:na]
at org.apache.hadoop.hive.ql.io.RCFile$Reader.<init>(RCFile.java:1154) ~[na:na]
at org.apache.hadoop.hive.ql.io.RCFile$Reader.<init>(RCFile.java:1133) ~[na:na]
at org.apache.hadoop.hive.ql.io.RCFileRecordReader.<init>(RCFileRecordReader.java:102) ~[na:na]
at org.apache.hadoop.hive.ql.io.RCFileInputFormat.getRecordReader(RCFileInputFormat.java:57) ~[na:na]
at com.facebook.presto.hive.HiveRecordSet$1.call(HiveRecordSet.java:185) ~[na:na]
  ...

库目录

ls -l /opt/cloudera/parcels/CDH-4.4.0-1.cdh4.4.0.p0.39/lib/hadoop/lib/native
total 564
-rwxr-xr-x 1 root root 133184 Sep  6 00:12 libhadoop.a
-rwxr-xr-x 1 root root 193020 Sep  6 00:12 libhadooppipes.a
lrwxrwxrwx 1 root root     18 Sep  6 08:26 libhadoop.so -> libhadoop.so.1.0.0
-rwxr-xr-x 1 root root  81680 Sep  6 00:12 libhadoop.so.1.0.0
-rwxr-xr-x 1 root root  58600 Sep  6 00:12 libhadooputils.a
-rwxr-xr-x 1 root root  77476 Sep  6 00:12 libhdfs.a
lrwxrwxrwx 1 root root     18 Sep  6 08:26 libsnappy.so -> libsnappy.so.1.1.3
lrwxrwxrwx 1 root root     18 Sep  6 08:26 libsnappy.so.1 -> libsnappy.so.1.1.3
-rwxr-xr-x 1 root root  23904 Sep  6 00:12 libsnappy.so.1.1.3

【问题讨论】：

标签： presto

【解决方案1】：

Presto 0.54 支持 Snappy 压缩。

【讨论】：

谢谢，期待。您是否在 Facebook 使用任何压缩？
我们的数据仓库中有超过 300 PB，您可以确定我们正在使用压缩 :) 我们的大部分数据目前使用 RCFile 和 deflate (zlib) 存储，我们正在迁移到 ORCFile，它也使用zlib.
我更新了答案以反映从 Presto 0.54 开始支持 Snappy 压缩。