有没有办法知道kafka connect sink写了多少条记录？答案

【问题标题】：is there a way to know how many record are written by kafka connect sink?有没有办法知道kafka connect sink写了多少条记录？
【发布时间】：2020-06-14 21:21:51
【问题描述】：

我使用 HDFS 接收器连接器，我想知道有多少条记录放入 HDFS。

在日志中，当连接器开始将文件放入 HDFS 时，我有日志，但没有记录有多少。
例如：

INFO Opening record writer for: hdfs://hdfs/path/+tmp/table/partition=2020-02-27/19955b52-8189-4f70-94b5-46d579cd1505_tmp.avro (io.confluent.connect.hdfs.avro.AvroRecordWriterProvider)

是否可以通过扩展连接器本身来实现？

我使用 kafka 连接 HDFS 2 接收器。

【问题讨论】：

标签： apache-kafka hdfs apache-kafka-connect

【解决方案1】：

开箱即用，据我所知（当然，它是开源的，你可以看看）。每个文件都有可变数量的数据，因此度量跟踪不会太有用。

我不记得调试或跟踪日志是否公开了该信息。

您可以使用 Hive/Spark/HDFS CLI 检查每个文件，不过

【讨论】：