Kafka-connect弹性搜索索引的自动小写主题名称答案

【问题标题】：Kafka-connect elasticsearch auto-lowercase topic name for for indexKafka-connect弹性搜索索引的自动小写主题名称
【发布时间】：2019-07-08 12:42:58
【问题描述】：

我正在使用 elasticsearch sink kafka-connector 将来自多个 kafka 主题的消息索引到 elasticsearch。我有骆驼命名的主题，我不能改变它。因此在启动 ES sink 连接器时，它不会索引任何内容，因为 elaticsearch 存在非小写索引名称的问题。

我知道我可以使用topic.index.map 属性手动将主题名称转换为索引。
topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,...

有没有办法将自动转换为小写？我有几十个主题要转换，我怀疑很快就会有几百个。

【问题讨论】：

不确定如何自动化他，但你可以在别名中有大写字母，所以也许你可以在别名（带大写）和生成的小写索引之间创建一个映射？

标签： elasticsearch apache-kafka apache-kafka-connect

【解决方案1】：

发现自从5.1 以来，如果没有为主题指定映射，它们会自动执行此操作。
from here：

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

详情请见this commit。

【讨论】：

【解决方案2】：

在 Elasticsearch 接收器连接器的最新版本中，这是自动完成的。修复此问题的 PR 是 https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

【讨论】：