【发布时间】：2017-06-27 04:05:13
【问题描述】：
我正在寻找一个将 MySQL 复制到 Hadoop 的开源软件，我找到了两个选项，但是
- Sqoop、Flume：不支持实时更新、删除
- 钨：封闭源代码和定价
那么还有哪些其他工具可以满足这一要求？
【问题讨论】：
标签： mysql hadoop replication
【发布时间】：2017-06-27 04:05:13
【问题描述】：
据我所知，Kafka 可能对您的情况有用。
Kafka-mysql-connector 是一个插件，可让您轻松地将 MySQL 更改复制到 Apache Kafka，并且您可以从 Kafka 加载到 HDFS 或 HIVE
- 对于基于 Kafka Connect 的 MySQL->Kafka 解决方案，请查看优秀的 Debezium 项目。
- 对于作为独立应用程序的 MySQL->Kafka 解决方案，请查看出色的 Maxwell 项目，该连接器正是基于该项目。
希望对您有所帮助
（注意：我没用过这个方案，你可以试试）
【讨论】：
-
非常感谢，我正在考虑但时间有限，所以我的临时解决方案是 Sqoop Job 批量导入并使用 Hive 覆盖旧数据。有时间我会试试你的解决方案。