Oozie Hive 工作流间歇性

Question

我目前遇到一个问题，即我的 oozie 工作流程间歇性地无法连接到我的 hive 元存储。与 hive-metastore 的连接似乎已用完？

原因：MetaException（消息：无法连接到元存储使用 提供的任何 URI。最近的失败： org.apache.thrift.transport.TTransportException： java.net.ConnectException：连接被拒绝 在 org.apache.thrift.transport.TSocket.open(TSocket.java:185) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:277) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:163) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27) 在 java.lang.reflect.Constructor.newInstance(Constructor.java:513) 在 org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1082) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.(RetryingMetaStoreClient.java:51) 在 org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:61) 在 org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:2140) 在 org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:2151) 在 org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern(Hive.java:1013) 在 org.apache.hadoop.hive.ql.metadata.Hive.getTablesByPattern(Hive.java:1000) 在 org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeCreateTable(SemanticAnalyzer.java:8732) 在 org.apache.hadoop.hive.ql.parse.SemanticAnalyzer.analyzeInternal（SemanticAnalyzer.java:8097） 在 org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer.analyze(BaseSemanticAnalyzer.java:258) 在 org.apache.hadoop.hive.ql.Driver.compile(Driver.java:443) 在 org.apache.hadoop.hive.ql.Driver.compile(Driver.java:347) 在 org.apache.hadoop.hive.ql.Driver.run(Driver.java:908) 在 org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:259) 在 org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:216) 在 org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:412) 在 org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:347) 在 org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:445) 在 org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:455) 在 org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:711) 在 org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:613) 在 org.apache.oozie.action.hadoop.HiveMain.runHive(HiveMain.java:261) 在 org.apache.oozie.action.hadoop.HiveMain.run(HiveMain.java:238) 在 org.apache.oozie.action.hadoop.LauncherMain.run(LauncherMain.java:37) 在 org.apache.oozie.action.hadoop.HiveMain.main(HiveMain.java:49) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 在 java.lang.reflect.Method.invoke(Method.java:597) 在 org.apache.oozie.action.hadoop.LauncherMapper.map(LauncherMapper.java:491) 在 org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50) 在 org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:418) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:333) 在 org.apache.hadoop.mapred.Child$4.run(Child.java:268) 在 java.security.AccessController.doPrivileged（本机方法） 在 javax.security.auth.Subject.doAs(Subject.java:396) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408) 在 org.apache.hadoop.mapred.Child.main(Child.java:262) 引起：java.net.ConnectException：连接被拒绝 在 java.net.PlainSocketImpl.socketConnect（本机方法） 在 java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:351) 在 java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:213) 在 java.net.PlainSocketImpl.connect(PlainSocketImpl.java:200) 在 java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366) 在 java.net.Socket.connect(Socket.java:529) 在 org.apache.thrift.transport.TSocket.open(TSocket.java:180) ... 44 更多 ) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:323) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient.java:163) ... 42 更多 失败：元数据错误：java.lang.RuntimeException：无法实例化 org.apache.hadoop.hive.metastore.HiveMetaStoreClient

我可以从命令行运行 hive。使用 hue 与 hive-metastore 通信并执行查询。这似乎只发生在我的 oozie 工作流程的一半。我提交的每个 hive 操作都将 hive-site.xml 配置为 oozie.hive.defaults。

hive-site.xml

 <property>   <name>hive.metastore.uris</name>  
 <value>thrift://localhost:9083</value>   <description>Thrift uri for
 the remote metastore. Used by metastore client to connect to remote
 metastore.</description> </property>

 <property>   <name>datanucleus.fixedDatastore</name>
     <value>false</value> </property>

 <property>   <name>javax.jdo.option.ConnectionURL</name>  
 <value>jdbc:mysql://localhost:3306/metastore</value>  
 <description>JDBC connect string for a JDBC metastore</description>
 </property>

 <property>   <name>javax.jdo.option.ConnectionDriverName</name>  
 <value>com.mysql.jdbc.Driver</value>   <description>Driver class name
 for a JDBC metastore</description> </property>

 <property>   <name>javax.jdo.option.ConnectionUserName</name>  
 <value>hive</value>   <description>username to use against metastore
 database</description> </property>

 <property>   <name>javax.jdo.option.ConnectionPassword</name>  
 <value>hive</value>   <description>password to use against metastore
 database</description> </property>

hive-metastore、hive-server2、mysql-server 和 oozie 目前都在同一主机上运行，​​因此 localhost 可以正常工作。有任何想法吗？我已启用 oozie 共享库默认 true 并且已创建共享库。

CDH 4.2.1 软件包

-oozie: oozie-3.3.0

-hive-metastore: hive-metastore-0.10.0

-hive-server2: hive-server2-0.10.0

-mysql-server: mysql-server-5.1.69-1

任何帮助将不胜感激

Answer 1

oozie.hive.defaults 在 Hive 操作中已弃用。您可以尝试让Job Xml 指向上传到 HDFS 上的 hive-site.xml 吗？