使用 Kafka Connect 和 Flink 的实时流数据管道

【问题标题】：Real time Streaming Data Pipeline using Kafka Connect and Flink使用 Kafka Connect 和 Flink 的实时流数据管道
【发布时间】：2019-07-17 10:39:45
【问题描述】：

我计划针对其中一项需求整合以下数据管道。
IBM MQ -> Kafka Connect -> Flink -> MongoDB
Flink 实时流是执行过滤、应用业务规则和丰富传入记录。
IBM MQ 部件是无法更改的遗留组件。
可能会使用 confluent 或 cloudera 平台来容纳流程中的 Kafka 和 Flink 部分。
我可以围绕上述方法使用一些想法/建议。

【问题讨论】：

  • 系统设计问题取决于许多 NFR。因此，例如，this 具有独特的视图。系统复杂性无法轻易解决。

标签： apache-flink apache-kafka-connect


【解决方案1】：

我会仔细看看您是否真的需要 Kafka Connect。我相信 IBM MQ 支持 JMS，并且在 Apache Bahir 中有一个用于 Flink 的 JMS 兼容连接器：http://bahir.apache.org/docs/flink/current/flink-streaming-activemq/。

【讨论】：

  • 感谢您的回复。我在考虑 Kafka Connect，以便我们可以扩展以并行处理大量记录、消息重放和利用容错能力。
  • 你应该能够通过从 MQ 到 Flink 的直接连接获得所有这些，假设并行源连接器支持重放事件。
猜你喜欢
  • 2020-10-06
  • 2016-12-30
  • 2020-03-10
  • 1970-01-01
  • 2017-08-13
  • 2017-12-25
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode