【发布时间】:2021-11-15 16:58:44
【问题描述】:
我尝试使用 gsutil cat 和 gsutil compose 连接多个 csv 文件,但问题是在输出文件中,标题重复导致数据差异。
【问题讨论】:
-
gsutil 不处理文件或对象中的数据。您将需要使用不同的工具来连接 CSV 格式的文件。对于 Python 程序来说,这是一项非常简单的任务。
-
如何避免所有标题行?如果例如使用
bq extract ... gs://table-name*.csv.gz生成多个gz 文件,您可以指定--noprint_header选项。
标签: python csv google-cloud-platform data-science gsutil