我想知道kafka平台是否适合以下工作。
我正在尝试获取包含多个表的完整数据库。一旦被 Kafka 摄取，我想根据条件过滤表行。
我认为使用 Kafka 流很容易做到这一点，但是被过滤器拒绝的消息会发生什么？
例如，如果基于日期，将来可能会满足条件，那么是否有可能再次过滤被拒绝的消息以最终通过过滤器并被进一步处理？
在向 Kafka 输入数据之前过滤数据行是否更好？
谢谢。
【问题讨论】：
标签： mysql apache-kafka apache-kafka-streams
您可能需要考虑使用数据库连接器，例如 Debezium 或 Confluent JDBC Source Connector，它们都基于 Kafka Connect
有关适用于 MySQL 的 Debezium 连接器的更多信息，请参阅 http://debezium.io/docs/connectors/mysql
有关 Confluent JDBC 连接器的更多信息，请参阅 http://docs.confluent.io/current/connect/connect-jdbc/docs/source_connector.html
使用基于 Kafka Connect 的连接器，您可以使用 Kafka Connect 中的单消息转换 (SMT) 功能在发布到 Kafka 之前过滤数据行。
在此处查看有关使用 Kafka Connect 进行行过滤的讨论Kafka connect (Single message transform) row filtering
【讨论】：