运行 presto-cli 警告：SerDe org.apache.hadoop.hive.contrib.serde2.RegexSerDe 不存在

Question

在单个节点上部署 presto。运行 Presto-cli 时，出现以下错误：

presto:default> select * from test1;
Query 20131116_233859_00005_5a2yh failed: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException SerDe org.apache.hadoop.hive.contrib.serde2.RegexSerDe does not exist)

hive 运行正常。为什么prestodb失败了？ 我的个人资料：

export JAVA_HOME=/usr/java
export JRE_HOME=/usr/java/jre
export HADOOP_HOME=/usr/hadoop
export HIVE_HOME=/usr/hive
export PRESTO_HOME=/usr/presto
export CLASSPATH=:.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME:`find /usr/hadoop -name '*.jar' | grep -v 'test' | grep -v 'example' | perl -e '@jars=<STDIN>;chomp @jars; print join(":",@jars);'`:$PRESTO_HOME/lib:$HADOOP/lib:$HIVE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PRESTO_HOME/bin:$HIVE_HOME/bin
export HADOOP_HEAPSIZE=4096

我知道了，当使用RegEx创建hive表时，presto-cli运行失败。 我不知道。请有人帮帮我！

Answer 1

在主节点上：

1. 将您的 RegexSerDe.jar 放入与您的 hadoop 发行版相关的 hive 连接器插件目录中。 （例如：对于 hadoop2 分发，您可以将 JAR 文件放置到 ../presto/plugin/hive-hadoop2/）

2. 确保RegexSerDe.jar 文件与此目录中存在的其他 jar 文件具有正确的所有权。

3. 重新启动 presto-server 进程。 (sudo service presto-server restart)。如果这不起作用，您可能需要使用启动器重新启动 sudo /usr/lib/presto/bin/launcher restart

在所有从节点上重复此操作！

Answer 2

按照与您上面提到的相同的过程得到相同的错误任何建议。

查询失败：org/apache/hadoop/hive/serde2/SerDe

使用 hive-hadoop2 版本将 serde jar 放在以下路径

presto/plugin/hive-hadoop2/hive-serde-1.0.0.jar 并重新启动 presto。

Answer 3

您必须将 SerDe jar 放在插件目录 (plugin/hive-cdh4) 中。 我没有使用 RegexSerDe，但它适用于 CSVSerDe。