Hive Warehouse Connector - 读取包含数组类型列的 Hive 表答案

【问题标题】：Hive Warehouse Connector - Read Hive table that contain column with type arrayHive Warehouse Connector - 读取包含数组类型列的 Hive 表
【发布时间】：2020-03-06 13:51:58
【问题描述】：

当我尝试在具有 Array 类型的列的 hive 表上执行简单的 SELECT 时，我收到此错误：

User class threw exception: java.lang.NoSuchMethodError: org.apache.hadoop.hive.llap.FieldDesc.getTypeInfo()Lshadehive/org/apache/hadoop/hive/serde2/typeinfo/TypeInfo;
    at com.hortonworks.spark.sql.hive.llap.util.SchemaUtil.convertSchema(SchemaUtil.java:25)
    at com.hortonworks.spark.sql.hive.llap.HiveWarehouseDataSourceReader.getTableSchema(HiveWarehouseDataSourceReader.java:113)
    at com.hortonworks.spark.sql.hive.llap.HiveWarehouseDataSourceReader.readSchema(HiveWarehouseDataSourceReader.java:124)
    at org.apache.spark.sql.execution.datasources.v2.DataSourceV2Relation$.apply(DataSourceV2Relation.scala:56)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:224)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:164)
    at com.hortonworks.spark.sql.hive.llap.HiveWarehouseSessionImpl.executeQuery(HiveWarehouseSessionImpl.java:62)
    at com.orange.vodcastview.datainjector.MetaProcessorMain$.main(MetaProcessorMain.scala:34)
    at com.orange.vodcastview.datainjector.MetaProcessorMain.main(MetaProcessorMain.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:721)

【问题讨论】：

标签： scala hadoop hive

【解决方案1】：

尝试查看这篇文章 - https://reflectoring.io/nosuchmethod/

通常，如果类路径在编译时和运行时不同，您会收到此错误。检查您在构建项目时使用的 spark 版本，以及在您部署项目的环境中运行的版本。

【讨论】：