【问题标题】:hive-server2 creates a new thread that never exits every time I launch a queryhive-server2 创建一个新线程,每次我启动查询时都不会退出
【发布时间】:2015-12-23 02:53:59
【问题描述】:

我正在调查 hive-server2 的一个奇怪问题。每次我启动查询时,hive-server2 都会创建一个新线程。

 # I'm seeing the output of this command augmenting each time I launch a query
 ps -eLF | grep hive HiveServer2 | wc -l

运行 hive-server2 的机器迟早会耗尽内存,我无法再启动查询。

据我所知,这个问题可能与 Zookeeper 有关。每个 hive-server2 线程都会打开与 zookeeper 的连接(我使用的是 hive.support.concurrency=true。这就是 zookeeper 与 hive 一起使用的功能)。在 Zookeeper 的日志中,我看到了这些消息:

2014-04-25 15:01:32,278 [myid:] - INFO  
[ProcessThread(sid:0 cport:-1)::PrepRequestProcessor@627] - 
Got user-level KeeperException when processing sessionid:0x14598934389005c 
type:create cxid:0x1 zxid:0xbfc0 txntype:-1 reqpath:n/a 
Error Path:/hive_zookeeper_namespace 
Error:KeeperErrorCode = NodeExists for /hive_zookeeper_namespace

请帮我解决这个问题。

【问题讨论】:

    标签: hive apache-zookeeper


    【解决方案1】:

    【讨论】:

      【解决方案2】:

      我遇到了同样的问题。我删除了 zookeeper 的 /hive_zookeeper_namespace,它似乎工作正常。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2012-12-02
        • 2014-04-25
        • 1970-01-01
        • 2011-03-22
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多