Spark Thrift 服务器排队查询答案

【问题标题】：Spark Thrift server queuing up queriesSpark Thrift 服务器排队查询
【发布时间】：2019-07-25 20:41:18
【问题描述】：

当并行查询到达 Spark Thrift 服务器时，在 Spark UI --> JDBC/ODBC Server 中，它显示所有查询已启动，但所有查询都以顺序方式执行

这是 Thrift Server 启动脚本---

start_thriftserver (){
        sudo /usr/lib/spark/sbin/start-thriftserver.sh \
--master yarn \
--deploy-mode client \
--executor-memory 3200m \
--executor-cores 2 \
--driver-memory 4g \
--conf spark.dynamicAllocation.enabled=true \
--conf spark.shuffle.service.enabled=true \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.dynamicAllocation.schedulerBacklogTimeout=1s \
--conf spark.dynamicAllocation.minExecutors=50 \
--conf spark.executor.memoryOverhead=684

【问题讨论】：

这里有什么进展吗？

标签： apache-spark spark-thriftserver

【解决方案1】：

这确实是一个令人困惑的话题。

spark.sql.hive.thriftServer.singleSession=false

试试这个。

也就是说，我对这一切有点怀疑。

【讨论】：