BigQuery 的数据传输服务答案

【问题标题】：BigQuery's Data Transfer ServiceBigQuery 的数据传输服务
【发布时间】：2017-05-15 23:01:48
【问题描述】：

Google BigQuery 的数据传输服务能否使用多个云存储位置作为数据提取到 BigQuery 的源目的地？

BQ 从 GCS 与任何其他云来源收取数据的收费方式有什么不同吗？

Data transfer Service 的文档中提到，从 2017 年 6 月 1 日起，BQ 将按月收取 Data-Transfer-Service 的订阅费用？我们有关于成本模型的详细信息吗？

【问题讨论】：

【解决方案1】：

我是 BQ 数据传输团队的工程师。

使用数据传输服务，您可以创建多个传输配置。例如，如果您愿意，您可以连接到支持不同 DCM 帐户的 100 个不同 GCS 存储桶。

加载数据没有区别 - BQ 中的加载作业仍然是免费的。

数据传输服务很快就会采用订阅模式。有关详细信息，您可以联系销售人员，或者您可以在https://cloud.google.com/bigquery/transfer/ 上等待更多文档

希望有帮助！

【讨论】：

谢谢....有没有关于使用 DataTransferService 加快从 GCS 到 BQ 的摄取的文档？我有 500 个 csv 文件（每个都有 25 GB 的未压缩大小）要摄取到 BQ 中。我希望对 BQ 每日分区进行并行摄取....出于好奇，我可以使用 BQ 的 UDF（用户定义的函数）进行此类摄取过程吗？ UDF 方法是否有任何成本？
您好 Bhavik，数据传输服务仅连接到特定服务（例如 DoubleClick、YouTube）。它目前不提供一般的 GCS 功能。要从 GCS 加载，请随意启动多个 GCS 加载作业。如果文件未压缩并且您将带引号的换行符设置为 false，加载将是最快的，因为这样可以实现最大程度的并行化。