Hadoop LZO 本机库和 JAR 不可用答案

【问题标题】：Hadoop LZO Native libraries & JAR not availableHadoop LZO 本机库和 JAR 不可用
【发布时间】：2013-04-29 02:21:51
【问题描述】：

我从http://apache.techartifact.com/mirror/hadoop/common/hadoop-1.1.2/hadoop-1.1.2-bin.tar.gz 下载了 Hadoop 1.1.2。它的本机目录没有 LZO 本机库。

$ find ~/softwares/hadoop-1.1.2/lib/native/

/home/deepakkv/softwares/hadoop-1.1.2/lib/native/
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32/libhadoop.so
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32/libhadoop.la
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32/libhadoop.a
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32/libhadoop.so.1
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-i386-32/libhadoop.so.1.0.0

/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64/libhadoop.so
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64/libhadoop.la
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64/libhadoop.a
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64/libhadoop.so.1
/home/deepakkv/softwares/hadoop-1.1.2/lib/native/Linux-amd64-64/libhadoop.so.1.0.0

当我在本地模式下使用 PigServer 运行 PIG 脚本时，我看到以下错误

parquet.hadoop.BadConfigurationException：找不到类 com.hadoop.compression.lzo.LzoCodec

我如何获取 jar 文件和本地文件？

【问题讨论】：

标签： hadoop native lzo

【解决方案1】：

LZO 是 GPL 许可的，因此它不能与 hadoop 一起提供（与基于 BSD 的 snappy 不同）您可以从 https://github.com/toddlipcon/hadoop-lzo 构建 LZO 或从 https://code.google.com/p/hadoop-gpl-packing/ 下载

【讨论】：