【发布时间】:2017-01-14 06:33:05
【问题描述】:
我正在使用avro serde 创建一个配置单元表来存储 Twitter 数据。
这是代码-
create table tweets
row format serde
'org.apache.hadoop.hive.serde2.avro.AvroSerde'
stored as inputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
outputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
tblproperties('avro.schema.url'='hdfs://user/itelligence/ee/TwitterDataAvroSchema.avsc');
我遇到了错误-
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
Cannot validate serde: org.apache.hadoop.hive.serde2.avro.AvroSerde
我已经尝试将 avsc 文件的输入作为
tblproperties('avro.schema.url'='hdfs:///user/itelligence/ee/TwitterDataAvroSchema.avsc');
tblproperties('avro.schema.url'='file://user/itelligence/schema/TwitterDataAvroSchema.avsc');
在本地和 hdfs 文件系统中,我遇到了同样的错误。
【问题讨论】:
标签: hive avro flume-twitter hive-serde avro-tools