【问题标题】:How to concatenate multiple csv file into one csv file having single header with gsutil如何使用 gsutil 将多个 csv 文件连接成一个具有单个标题的 csv 文件
【发布时间】:2021-11-15 16:58:44
【问题描述】:

我尝试使用 gsutil cat 和 gsutil compose 连接多个 csv 文件,但问题是在输出文件中,标题重复导致数据差异。

【问题讨论】:

  • gsutil 不处理文件或对象中的数据。您将需要使用不同的工具来连接 CSV 格式的文件。对于 Python 程序来说,这是一项非常简单的任务。
  • 如何避免所有标题行?如果例如使用bq extract ... gs://table-name*.csv.gz 生成多个gz 文件,您可以指定--noprint_header 选项。

标签: python csv google-cloud-platform data-science gsutil


【解决方案1】:

你不能直接用 gsutil 来做。但我写了一个article,我在其中使用 BigQuery 来(尝试)解决这个问题

【讨论】:

    猜你喜欢
    • 2017-12-01
    • 2022-11-04
    • 2021-08-17
    • 1970-01-01
    • 1970-01-01
    • 2019-08-25
    • 1970-01-01
    • 2022-01-19
    • 1970-01-01
    相关资源
    最近更新 更多