Confluent 5.4.0 ElasticSearch Sink Connector中没有连接器类型错误答案

【问题标题】：no connector type ERROR in Confluent 5.4.0 ElasticSearch Sink ConnectorConfluent 5.4.0 ElasticSearch Sink Connector中没有连接器类型错误
【发布时间】：2020-07-14 02:00:08
【问题描述】：

我在我的 Kafka 主题 "demo-twitter-status"

中引入了来自 twitter 源连接器的数据

我想在 ElasticSearch 中解决这个问题。我做的连接器是这样的：

curl -k -X POST  http://xxxxxxxxxx:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"sink-elasticsearch-connector1",
  "config":{
    "tasks.max": "2",
    "topics":"demo-twitter-status",
    "key.converter":"org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schema.enable":"true",
    "value.converter":"org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schema.enable":"true",
    "connection.url":"http://xxxxxxxx:9200",
    "type.name":"kafka-connect",
    "key.ignore":"true"
    }
}'

这给出了错误：

{
  "error_code": 400,
  "message": "Connector config {type.name=kafka-connect, key.converter.schema.enable=true, tasks.max=2, topics=demo-twitter-status,
   value.converter.schema.enable=true, name=sink-elasticsearch-connector1, value.converter=org.apache.kafka.connect.json.JsonConverter,
   connection.url=http://===========:9200, key.ignore=true, key.converter=org.apache.kafka.connect.json.JsonConverter}
   contains no connector type"
}

我也使用了"type.name":"kafkaconnect" and "type.name":"_doc"，但仍然出现同样的错误。

谁能帮我纠正我的连接器。提前谢谢！！！！

版本如下：

汇合 5.4.0

弹性搜索 7.6

PS：confluent 文档说 confluent 5.4.0 支持 7.x

【问题讨论】：

你能把type.name删掉再试一次吗
感谢您的快速评论。还是同样的错误吗
能否查看弹性错误日志并提供
弹性搜索中没有连接器相关的日志。由于未创建连接器“错误 400”，弹性搜索将如何出错。

标签： elasticsearch apache-kafka apache-kafka-connect confluent-platform

【解决方案1】：

原因显示在您的错误中：

Connector config …   contains no connector type

您需要指定 connector.class 以便 Kafka Connect 知道使用 Elasticsearch 接收器连接器。

试试

curl -k -X POST  http://xxxxxxxxxx:8083/connectors -H "Content-Type: application/json" --data '{
  "name":"sink-elasticsearch-connector1",
  "config":{
    "connector.class":  "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "2",
    "topics":"demo-twitter-status",
    "key.converter":"org.apache.kafka.connect.json.JsonConverter",
    "key.converter.schema.enable":"true",
    "value.converter":"org.apache.kafka.connect.json.JsonConverter",
    "value.converter.schema.enable":"true",
    "connection.url":"http://xxxxxxxx:9200",
    "type.name":"kafka-connect",
    "key.ignore":"true"
    }
}'

【讨论】：