native-lzo 库在 Hadoop 数据节点上不可用答案

【问题标题】：native-lzo library not available on Hadoop datanodesnative-lzo 库在 Hadoop 数据节点上不可用
【发布时间】：2013-08-05 18:55:15
【问题描述】：

我在我的 Gateway/hadoop-env.sh 中写了一个简单的 LzoWordCount 如下：

HADOOP_CLASSPATH=/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar
JAVA_LIBRARY_PATH=/opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.105/lib/hadoop/lib/native/

当我运行 MR 作业时，我得到：

mapred.JobClient: Task Id : attempt_201307311800_0020_m_000002_2, Status : FAILED java.lang.RuntimeException: native-lzo library not available

任何想法如何解决这个问题？我确实注意到'hadoop classpath | grep native' 什么都不返回？

【问题讨论】：

这很正常，但它会返回带有hadoop classpath | grep lzo 的东西吗？？
hadoop 类路径 | grep lzo 对我没有任何回报

标签： hadoop lzo

【解决方案1】：

问题原来是我们没有在数据节点上安装 lzop。我使用以下方法修复了它：

sudo apt-get install lzop

【讨论】：

【解决方案2】：

1.安装lzo

yum install lzo -y

2.安装hadoop-gpl-packaging

wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/hadoop-gpl-packing/hadoop-gpl-packaging-0.6.1-1.x86_64.rpm
rpm -i hadoop-gpl-packaging-0.6.1-1.x86_64.rpm

3.复制罐子

cp /opt/hadoopgpl/lib/hadoop-lzo-*.jar $HADOOP_HOME/share/hadoop/common/

4 复制库

cp /opt/hadoopgpl/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/

【讨论】：

【解决方案3】：

转到：https://code.google.com/p/hadoop-gpl-packing/downloads/list

下载jar和rpm安装rpm（当时：hadoop-gpl-packaging-0.6.1-1.x86_64.rpm）然后

yum install install lzop
rpm -i hadoop-gpl-packaging-0.6.1-1.x86_64.rpm
sudo cp /opt/hadoopgpl/native/Linux-amd64-64/* /usr/lib/hadoop/lib/native/
sudo cp /opt/hadoopgpl/lib/*lzo* /usr/lib/hadoop/lib/

对上面的命令感到厌烦，不要覆盖你不想覆盖的文件。所以在运行之前先备份目标文件夹。

【讨论】：

【解决方案4】：

所以这意味着你的hadoop-lzo-***.jar不在你的HADOOP_CLASSPATH中

然后您可以将您的 jar 复制到您的 hadoop/lib 文件夹或将路径添加到您的 hadoop/bin/hadoop-env.sh，您必须在 ALL 您的节点上执行此操作

我希望它能解决它;-)

【讨论】：