【发布时间】:2015-12-23 02:53:59
【问题描述】:
我正在调查 hive-server2 的一个奇怪问题。每次我启动查询时,hive-server2 都会创建一个新线程。
# I'm seeing the output of this command augmenting each time I launch a query
ps -eLF | grep hive HiveServer2 | wc -l
运行 hive-server2 的机器迟早会耗尽内存,我无法再启动查询。
据我所知,这个问题可能与 Zookeeper 有关。每个 hive-server2 线程都会打开与 zookeeper 的连接(我使用的是 hive.support.concurrency=true。这就是 zookeeper 与 hive 一起使用的功能)。在 Zookeeper 的日志中,我看到了这些消息:
2014-04-25 15:01:32,278 [myid:] - INFO
[ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@627] -
Got user-level KeeperException when processing sessionid:0x14598934389005c
type:create cxid:0x1 zxid:0xbfc0 txntype:-1 reqpath:n/a
Error Path:/hive_zookeeper_namespace
Error:KeeperErrorCode = NodeExists for /hive_zookeeper_namespace
请帮我解决这个问题。
【问题讨论】:
标签: hive apache-zookeeper