来自 GCS 的文件大小可以在 Cloud Function 中处理多少？ [关闭]

Question

我想使用 GCP 中的 Cloud Function 将 >=4 GB 的数据从 GCS 传输到 BigQuery。有可能这样做吗？我尝试使用mkfile 命令创建一个临时的 5 GB 数据文件并尝试上传到 GCS。这需要很长时间，仍然没有上传。这是否意味着 GCS 不能处理超过一定的文件大小..

在我参考的文档中：https://cloud.google.com/storage/quotas，我了解到 GCS 最多可以处理 5 TiB 的数据。那为什么上传 5 GB 的数据需要很长时间。

是否可以通过 Cloud Function 从 GCS 传输到 BigQuery 处理超过 4 GB 的数据？CF 和 GCS 可以处理多少 GB 数据？有没有可能通过任何服务减少数据大小的方法？我可以获取任何与 CF 和 GCS 可以处理的数据限制相关的文档吗？

Answer 1

你问题的第一句话：

我想将 >=4 GB 的数据从 GCS 传输到 BigQuery(BQ)

如果我们停止写入，则不需要 Cloud Function(CF) 进行传输。 BQ 完全有能力从 GCS（最大 15TB）摄取您的 BIG CSV 文件。但是您需要触发此摄取或更准确地说是 BQ 加载作业。这里进入云函数。它可以插入您的存储桶。一旦您的文件完成上传到 GCS，它就会触发运行 BigQuery 加载作业的云功能。

下面是在 python39 中使用 CF 运行的加载作业示例。 别忘了设置table_id，更多信息或其他语言，你可以查看这个doc。

# the file should be named main.py

def load_csv_from_gcs_to_bq(data, _):
    file_name = data["name"]
    bucket_name = data["bucket"]
    # Construct the GCS file uri to load
    uri = f"gs://{bucket_name}/{file_name}"

    from google.cloud import bigquery

    # Construct a BigQuery client object.
    client = bigquery.Client()

    # TODO: Set table_id to the ID of the table to create.
    # table_id = "your-project.your_dataset.your_table_name"


    job_config = bigquery.LoadJobConfig(
        autodetect=True,
        skip_leading_rows=1,
        source_format=bigquery.SourceFormat.CSV,
    )

    load_job = client.load_table_from_uri(
        uri, table_id, job_config=job_config
    )  # Make an API request.

    load_job.result()  # Waits for the job to complete.

    destination_table = client.get_table(table_id)  # Make an API request.
    print("Loaded {} rows.".format(destination_table.num_rows))

使用requirements.txt 文件

google-cloud-bigquery==2.24.0

这里是部署 CF 的命令（set YOUR_GCS_BUCKET without gs://）查看link 了解更多详情。

gcloud functions deploy load_csv_from_gcs_to_bq \
--region europe-west1 \
--runtime python39 \
--timeout 300 \
--memory 128 \
--trigger-resource <YOUR_GCS_BUCKET> \
--trigger-event google.storage.object.finalize

在 BQ 中加载 CSV 后，您可以使用 BQ 进行多种类型的转换并将结果存储在新表中。

但如果您需要自定义且非常具体的转换，对于您的数据大小，Dataflow 将是更好的选择。

Answer 2

如果您上传到 GCS 的速度很慢，您可以尝试：

• 使用带有 -m 开关的 gsutil 上传以使用多个进程（`gsutil cp -m file.csv gs://bucket/destination。

• 使用随机名称将 CSV 拆分为多个文件（如 gs://bucket/0021asdcq1231scjhas.csv，并为每个文件使用多个进程并行上传。这样您将在云存储中使用多个提取服务器。