使用 scala 和 spark 3.0.1 从 Elasticsearch 读取数据

【问题标题】：Read data from Elasticsearch with scala and spark 3.0.1使用 scala 和 spark 3.0.1 从 Elasticsearch 读取数据
【发布时间】：2021-06-14 03:47:14
【问题描述】：

我正在尝试从 Spark-2.4.6 迁移到 3.0.1，但似乎 es-hadoop 不支持 Spark 3.0+。你有什么解决办法吗？谢谢！

【问题讨论】：

标签： scala apache-spark elasticsearch hadoop

【解决方案1】：

很遗憾，支持 Apache Spark 3.0 的 ElasticSearch 连接器尚不可用。可以解决一个问题，Spark 3.0.0 依赖于 Scala 2.12，Elasticsearch-hadoop 尚不支持。这个问题和其他一些问题阻止了我们将 Spark 3.0.0 与 Elasticsearch 一起使用。如果你想自己编译它，在 elasticsearch-hadoop (https://github.com/elastic/elasticsearch-hadoop/pull/1308) 上有一个 pull-request，它至少应该允许使用 scala 2.12。不确定它是否也能解决其他问题。

【讨论】：