【发布时间】：2020-03-04 11:16:09
【问题描述】：
我们需要将一个json文件上传到云桶中，然后我们需要编写一个可以将json文件数据加载到bigquery表中的云函数。
【问题讨论】：
-
请提供您尝试过的东西。这些问题似乎很抽象。
【发布时间】：2020-03-04 11:16:09
【问题描述】：
您可以找到有关的官方文档
Streaming data from Cloud Storage into BigQuery using Cloud Functions
在上图中，管道由以下部分组成 步骤：
1.JSON文件上传到FILES_SOURCE云端存储桶。
2.该事件触发流式云函数。
3.数据被解析并插入BigQuery。
4.摄取状态记录到 Firestore 和 Cloud Logging。
5.消息发布在以下 Pub/Sub 主题之一中：streaming_success_topic streaming_error_topic
6.根据结果，Cloud Functions 将 JSON 文件从 FILES_SOURCE 存储桶到以下存储桶之一：FILES_ERROR FILES_SUCCESS
【讨论】：
您可以使用 Dataflow Google-provided templates，模板 Cloud Storage Text to BigQuery 是一个批处理管道，允许您读取存储在 Cloud Storage 中的文本文件，使用您提供的 JavaScript 用户定义函数 (UDF) 对其进行转换，然后输出结果到 BigQuery。
您需要使 UDF 函数适合您的用例。
【讨论】：