Google Dataprep 与消息代理的集成

Question

是否可以在 Dataprep 作业中从 Kafka 或 Google Pub/Sub 中读取？

如果是这样，在调试示例时，我应该期待任何“最佳实践”部署考虑事项除了此类工具（在我们最喜欢的 IDE 上编码 Scala/Java）之外，生产流程（相同的“数据类型”）是在任何东西之上执行的？

Answer 1

没有从消息系统（如 Kafka 或 Pub/Sub）直接读取到 Cloud Dataprep 的本机方式。

我会推荐一种替代方法：

1. 将数据流式传输到 BigQuery，然后从 BQ 读取数据
2. 将流数据写入云存储，然后加载数据

这两种方法都需要事先将数据写入中间位置。如果您将来需要低延迟、性能或查询能力，我会推荐 BQ。当速度不重要时，我会推荐低成本的 GCS。