BigQuery 到 Kafka 主题

Question

我有一个加载到 BigQuery 的数据，我需要将 BigQuery 连接到 Kafka，作为每天一次将数据发布到 Kafka 主题的源。由于没有 BigQuery 源连接器，那么将 BigQuery 数据发布到 Kafka 主题的最佳方式是什么。

Answer 1

有多种选择。我将使用在Google Dataflow 上运行的批处理Apache Beam 管道来完成此任务。它有 Java 和 Python SDK。

例如，在 Java 中，您可以使用 BigQueryIO 读取数据，然后使用 KafkaIO 写入数据。

类似这样的：

//read rows from BQ
PCollection<TableRow> weatherData = pipeline.apply(
    BigQueryIO.readTableRows().from("clouddataflow-readonly:samples.weather_stations"));

// some data processing steps


// write pairs to Kafka topic
PCollection<KV<Long, String>> kvColl = ...;
kvColl.apply(KafkaIO.<Long, String>write()
    .withBootstrapServers("broker_1:9092,broker_2:9092")
    .withTopic("results")

    .withKeySerializer(LongSerializer.class)
    .withValueSerializer(StringSerializer.class)
);