【问题标题】:WSO2 Gadget Gen Tool -WSO2 小工具生成工具 -
【发布时间】:2013-06-03 01:02:58
【问题描述】:

我有一个带有 Hive 的外部 Hadoop 集群 (CDH4)。我使用小工具生成工具 (BAM 2.3.0) 创建了一个简单的表格小工具,但是当我使用小工具生成工具提供的 URL 将小工具添加到仪表板时,没有填充任何数据。

这是我在小工具生成器向导中的数据源设置

jdbc:hive://x.x.x.x:10000/default
org.apache.hadoop.hive.jdbc.HiveDriver

我添加了以下 jar 文件以确保我拥有 JDBC 连接所需的一切并重新启动 wso2server:

hive-exec-0.10.0-cdh4.2.0.jar hive-jdbc-0.10.0-cdh4.2.0.jar
hive-metastore-0.10.0-cdh4.2.0.jar hive-service-0.10.0-cdh4.2.0.jar
libfb303-0.9.0.jar commons-logging-1.0.4.jar slf4j-api-1.6.4.jar
slf4j-log4j12-1.6.1.jar hadoop-core-2.0.0-mr1-cdh4.2.0.jar

我看到在向导的第 2 步和第 3 步期间我的集群上运行了 map reduce 作业(并且向导向我显示了实际数据的预览),但在生成小工具后我没有看到任何提交的作业。

任何帮助表示赞赏。

【问题讨论】:

    标签: hive wso2 wso2bam


    【解决方案1】:

    Gadgen gen 工具适用于 MySQL、h2 等 RDBMS 数据库。您不能从 gadget gen 工具提供 hive URL 并运行它。

    一般在 WSO2 BAM 中,hive 用于汇总存储在 cassandra 中的收集数据,并将汇总的最终结果写入 RDBMS 数据库。然后从 Gadget-gen 工具中,通过指向存储 RDBMS 数据库的最终结果来创建 gdaget xml。

    您可以找到有关 WSO2 BAM 2.3.0 文档的更多信息。 http://docs.wso2.org/wiki/display/BAM230/Gadget+Generation+Tool

    【讨论】:

      【解决方案2】:

      确保为小工具 XML 的位置生成的 URL 具有正确的 IP/主机名。查看给定的小工具 xml 是否位于生成的 url 的注册表位置。您不必担心 Hive / Hadoop / Cassandra 的东西,因为它们与小工具无关。只有 RDBMS(默认为 H2)数据很重要。希望小工具位置更正后您的问题将得到解决。

      【讨论】:

      • 这里是生成器向导的 URL:http://172.19.0.171:9763/registry/resource/_system/config/repository/components/org.wso2.carbon.bam.gadgetgen/gadgetgen/ test7june20130830.xml 这是 xml 内部的 jag 文件:172.19.0.171:9443/gadgetgen/test7june20130830.jag 当我访问 jag URL 时出现错误:HTTP Status 500 - org.mozilla.javascript.WrappedException: Wrapped org.jaggeryjs.scriptengine.exceptions.ScriptException: Error连接数据库:jdbc:hive://172.19.0.109:10000/default (/gadgetgen//test7june20130830.jag#4)
      • 关于我的系统的其他信息:使用 Oracle JDK 1.7.0_21, RHEL 5.7 x86_64
      • 似乎在小工具生成向导期间输入的 jdbc 处理程序详细信息有问题。要么您需要正确输入 Oracle jdbc 驱动程序,要么应将 jdbc 驱动程序正确添加到 repository/components/lib 目录。并再次检查 jdbc 用户名和密码。
      • 一切输入正确,因为它在向导的预览阶段显示查询结果。包括 hive-jdbc 在内的所有 jar 文件都已添加到 /root/wso2bam-2.3.0/repository/components/lib。如何检查小工具的代码以确保生成工具传输的连接参数正确?小工具生成向导和小工具服务器是否有可能没有为 JDBC 驱动程序使用相同的库位置?
      • Hive 是否需要 Oracle JDBC 驱动程序?我没有在我的架构中的任何地方使用 Oracle。
      猜你喜欢
      • 2013-02-10
      • 2012-12-22
      • 1970-01-01
      • 1970-01-01
      • 2011-11-24
      • 1970-01-01
      • 2010-09-09
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多