我有一个将数据保存到 mongo 数据库的 NLP 模型。所有这一切都与Java。 我的问题是我想对这些数据进行报告，在我的公司他们使用 druid 和 aws lambda 来生成报告，所以我想以某种方式将这些数据发送给 druid。 我正在考虑从java中寻找解决方案，以便在保存在mongodb时它也保存在druid中。 或者我也在考虑一个可以查询 mongodb 然后以某种方式将其摄取到 druid 中的气流 dag。
我想听听意见，以及他们将如何做的观点等等......当然在一般层面上
标签： python java airflow reporting druid
你很幸运，Mongodb 有原生的 CDC 能力。您可以从 mongo 管道到 kafka 或 kinesis，然后从那里发送到 druid。
https://www.mongodb.com/blog/post/integrating-mongodb-and-amazon-kinesis-for-intelligent-durable-streams
要问的问题是“我是想将原始数据流式传输到 Druid 还是需要先处理它？”在 Druid 登陆之前，有很多理由去规范化/扁平化/过滤/格式化/加入”
https://www.decodable.co/blog/top-6-patterns-for-ingesting-data-into-druid
有几种方法可以进行这种处理，其中最简单的可能是 decodedable.co。
【讨论】：