任务重启后confluent kafka connect elasticsearch sink吞吐量永久下降答案

【问题标题】：confluent kafka connect elasticsearch sink throughput drops permanently after task restart任务重启后confluent kafka connect elasticsearch sink吞吐量永久下降
【发布时间】：2020-02-27 09:51:55
【问题描述】：

我有一个包含 700 万条记录（3 个分区）的主题，并使用大多数默认配置部署了一个包含 1 个任务的 Elasticsearch 接收器。接收器首先在 Elasticsearch 中创建索引，然后以 10,000 msgs/秒的速率开始写入。如果我对连接器的任务进行任何更改

暂停连接器，重新启动任务，启动连接器
让连接器保持运行但重新启动任务

吞吐量下降到 400 条消息/秒，并且永远不会恢复到原来的 10,000 条/秒。

如果我停止连接器，请从 Elasticsearch 中删除索引并恢复连接器，它会返回到接收 10k 消息/秒。

我尝试将连接器配置更改为远离默认值，但没有结果。

connection.timeout.ms=1000
batch.size=2000
max.retries=5
max.in.flight.requests=5
retry.backoff.ms=100
max.buffered.records=20000
flush.timeout.ms=10000
read.timeout.ms=3000

我的连接器配置

connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
type.name=logdata
errors.log.include.messages=true
tasks.max=1
topics=d8.qa.id.log.sso.transformed.0
key.ignore=true
schema.ignore=true
value.converter.schemas.enable=false
elastic.security.protocol=PLAINTEXT
name=elasticsearch-sink-d8.qa.id.log.transformed
connection.url=http://172.30.2.23:9200,http://172.30.0.158:9200,http://172.30.1.63:9200
client.id=elasticsearch-sink-d8.qa.id.log.transformed

环境详情

Elasticsearch 6.8 (10 data nodes, 3 master)
Elasticsearch connector (version 2.2.1)
Kafka Connect (2 workers with 16GB memory, version 2.2.1)
Kafka Broker (3 brokers with 32GB memory, version 2.2.1)

注意事项：

与 ES 7.2 和 Elasticsearch 连接器版本 2.3.1 的行为相同
这是部署到连接集群的唯一连接器

【问题讨论】：

标签： elasticsearch apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

这是 Confluent Platform 5.3.x 及更低版本的一个已知问题，如果索引不是由 JestElasticsearchClient 创建的，则该索引不会被缓存。修复 PR-340 和 PR-309 已合并，将与 Confluent Platform 5.4 一起部署。

【讨论】：