Elasticsearch 火花读取缓慢

Question

使用指定的 spark 连接器 org.elasticsearch:elasticsearch-spark-20_2.11:6.3.2 从 Elasticsearch v6.2 读取到 spark 非常慢。这是来自带有索引的 3 节点 ES 集群：

curl https://server/_cat/indices?v
green  open   db MmVwAwYfTz4eE_L-tncbwQ   5   1  199983131      9974871    105.1gb         51.8gb

在（10 个节点，1tb 内存，>50 个 VCPU）spark 集群上读取：

val query = """{
  "query": {
    "match_all": {}
  }
}"""

val df = spark.read
  .format("org.elasticsearch.spark.sql")
  .option("es.nodes","server")
  .option("es.port", "443")
  .option("es.net.ssl","true")
  .option("es.nodes.wan.only","true")
  .option("es.input.use.sliced.partitions", "false")
  .option("es.scroll.size", "1000")
  .option("es.read.field.include", "f1,f2,f3")
  .option("es.query",query)
  .load("db")

df.take(1)

执行需要 10 分钟。

这是（缓慢地）它应该如何工作，还是我做错了什么？

Answer 1

这不是它应该有多慢，答案可以在你分享的截图中找到：

Spark UI 中的Stages: Succeeded/Total 列仅显示了一个运行读取操作的任务，我认为这不是您所期望的，否则拥有整个集群的意义何在。

我遇到了同样的问题，我花了一段时间才弄清楚 Spark 将一个任务（分区）关联到 Elasticsearch 索引中的每个分片，

我们有我们的答案，为了更快，我们应该并行化这个过程，怎么做？将我们的源索引分配到多个分片中。

默认情况下，Elasticsearch 会使用一个分片创建一个索引，但也可以按如下方式对其进行个性化设置：

PUT /index-name
{
     "settings": {
     "index": {
     "number_of_shards": x,  
     "number_of_replicas": xx 
    }
  }
}

分片的数量可能高于 Elastic 节点的数量，这对 Spark 来说都是透明的。 如果索引已经存在，请尝试创建一个新的 inex，然后使用 Elasticsearch Reindex API

希望这能解决你的问题。