【发布时间】:2015-07-08 02:03:00
【问题描述】:
如何自动将 .CSV 文件从 Google Cloud 上传到 Big Query。
【问题讨论】:
-
你应该在你的问题中添加你到目前为止所尝试的内容。
标签: bigdata google-bigquery google-cloud-storage
如何自动将 .CSV 文件从 Google Cloud 上传到 Big Query。
【问题讨论】:
标签: bigdata google-bigquery google-cloud-storage
Google Cloud Storage 提供 CSV 格式的access and storage log files,可以直接导入 BigQuery 进行分析。要访问这些日志,您必须set up log delivery and enable logging。存储访问日志和storage bucket data 的模式都以 JSON 格式在线提供。更多信息请访问Cloud Storage access logs and storage data documentation。
要从命令行将存储和访问日志加载到 BigQuery 中,请使用以下命令:
bq load --schema=cloud_storage_usage_schema.json my_dataset.usage_2012_06_18_v0 gs://my_logs/bucket_usage_2012_06_18_14_v0
【讨论】: