【问题标题】:Kylin sync issue with hive tables配置单元表的 Kylin 同步问题
【发布时间】:2017-12-20 21:23:59
【问题描述】:

我正在尝试将 hive 表列表中的表同步到 kylin 以构建多维数据集。但是,在这个过程中,我看到元数据同步并显示在 Kylin 中,但不是实际数据。当我尝试查看相关日志时,发现如下:

NoSuchObjectException(消息:DEFAULT.KYLIN_INTERMEDIATE_XYZ_TABLE_NAME 找不到表) 在 org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:115) 在 org.apache.kylin.source.hive.cardinality.HiveColumnCardinalityJob.run(HiveColumnCardinalityJob.java:94) 在 org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:129) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) 在 org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:64) 在 org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:125) 在 org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:144) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 在 java.lang.Thread.run(Thread.java:745) 引起:java.io.IOException: NoSuchObjectException(消息:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 找不到表) 在 org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput(HCatInputFormat.java:97) 在 org.apache.hive.hcatalog.mapreduce.HCatInputFormat.setInput(HCatInputFormat.java:51) 在 org.apache.kylin.source.hive.HiveMRInput$HiveTableInputFormat.configureJob(HiveMRInput.java:112) ... 9 更多原因:NoSuchObjectException(message:DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 找不到表) 在 org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44359) 在 org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result$get_table_resultStandardScheme.read(ThriftHiveMetastore.java:44327) 在 org.apache.hadoop.hive.metastore.api.ThriftHiveMetastore$get_table_result.read(ThriftHiveMetastore.java:44258) 在 org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:86)

请告诉我会是什么问题?我可以成功地将几个其他表从 hive 同步到 kylin 以及用于 kylin OLAP 多维数据集和模型的数据(不仅是元数据)。不知道为什么这种情况发生在少数桌子上而不是其他桌子上。

【问题讨论】:

  • 附加环境详情:Hortonworks 版本:2.6.1.0 Kylin 版本:2.2.0
  • 这里没有将数据与元数据同步的问题仅适用于具有分区列的表和仅作为视图创建的表。

标签: hadoop hive hbase hortonworks-data-platform kylin


【解决方案1】:

未找到 DEFAULT.KYLIN_INTERMEDIATE_BVP_STG_VIEWS_UVERSE_PROGRAM_METADATA_VOD 表

如果hive表有数据库名,则应在表名前加上数据库名,如database_name1.table_name1, database_name2.table_name2

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多