【问题标题】:how to connect to flink elasticsearch version 6.2.2 to flink 1.4.1flink elasticsearch 6.2.2版本如何连接到flink 1.4.1
【发布时间】:2018-02-28 07:55:40
【问题描述】:

我在 flink 中使用 elasticsearch 6.2.2 作为接收器,但是在阅读 apache flink 文档时,我可以看到 elasticserver 版本 5.x 的连接器,但没有提到 6.x 的连接器。

flink 是否支持 elasticsearch 6.x 的任何连接器?还是我应该创建任何 http 客户端并发出发布请求以每次创建或更新新文档?还是他们的任何其他技术?

【问题讨论】:

    标签: elasticsearch apache-flink


    【解决方案1】:

    Flink 1.4.x 没有为 Elasticsearch 6.x 提供连接器,并且包含的​​连接器仅适用于 Elasticsearch 5.1.x(由于 5.2.x 中 Elasticsearch 客户端的 API 重大更改)。

    Flink 的 JIRA 中有一个未解决的问题,用于跟踪 Elasticsearch 6.x 支持的进度FLINK-8101

    【讨论】:

      【解决方案2】:

      作为@fabian-hueske 答案的解决方法,您可以执行以下操作:

      1) 您可以编写一个自定义 Http 接收器,使用 Elasticsearch REST API https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html 将您的数据发送到 Elasticsearch

      2) 您还可以使用以下库 https://github.com/sksamuel/elastic4s 创建自定义接收器以通过 TCP 连接到 Elasticsearch

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2020-07-24
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2020-04-15
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多