如何使用 kafka-kusto-sink 和调试答案

【问题标题】：how to work with kafka-kusto-sink and debug如何使用 kafka-kusto-sink 和调试
【发布时间】：2019-07-09 03:33:15
【问题描述】：

将数据摄取到 kakfka 集群，该集群可以使用 kafka-sink-azure-kusto 将数据发送到 adx kusto db。

iam 成功地将数据摄取到 kafka 集群，并且它没有将数据传输到 kusto db。如何调试这个？我可以验证的任何日志。

我已尝试检查代理日志，那里没有错误

【问题讨论】：

【解决方案1】：

您能否提供更多关于您如何运行 Kafka 以及如何设置连接器的信息？

调试步骤如下：

更新：关于一般连接器设置的更多信息可以在这个 SO 问题中找到：Kafka connect cluster setup or launching connect workers

【讨论】：

我正在运行如下卡夫卡。 docker run --rm -p 3030:3030 -p 9092:9092 -p 8081:8081 -p 8083:8083 -p 8082:8082 -p 2181:2181 -e ADV_HOST=localhost -v /windows/code/test/kafka -sink-azure-kusto/target/kafka-sink-azure-kusto-0.1.0-jar-with-dependencies.jar:/connectors/kafka-sink-azure-kusto-0.1.0-jar-with-dependencies。 jar landoop/fast-data-dev
我正在登录 localhost:3030/kafka-connect-ui/#/cluster/fast-data-dev 并使用 ui 并添加 kust sink 连接器。通过使用配置。
name=KustoSinkConnector connector.class=com.microsoft.azure.kusto.kafka.connect.sink.KustoSinkConnector kusto.sink.flush_interval_ms=300000 tasks.max=2 topics=kafka-adx-poc
kusto.tables.topics_mapping=[{'topic': 'kafka-adx-poc','db': 'kafka-adx-poc', 'table': 'Alerts','format ': 'csv', 'mapping':'AlertsMapping'}] kusto.auth.authority=tennant_id kusto.url=ingest-{kustodb}.windows.net/kusto.auth.appid=id kusto.auth.appkey=密码 kusto.sink.tempdir=/var/tmp/ kusto.sink.flush_size=1000 value.converter=org.apache.kafka.connect.storage.StringConverter key.converter=org.apache.kafka.connect.storage.StringConverter
@king 您是否尝试使用其他 SDK 之一摄取数据（只是为了确保凭据正确并且您有权访问数据库）？另外，请注意 kusto.sink.flush_size=1000 以字节为单位。因此，如果您只将单个项目写入 kafka，它将在那里等到 flush_interval_ms。您是否设法查看了连接器日志？