【问题标题】:How to add pandas data to an existing csv file in Google Cloud Storage?如何将 Pandas 数据添加到 Google Cloud Storage 中的现有 csv 文件?
【发布时间】:2022-01-23 06:51:54
【问题描述】:

我正在使用 pandas 将文件保存到我的谷歌云存储上的 csv 文件中。问题是当我重写数据时我的文件被覆盖了。

    url = gs://mybucket/my.csv
    df.to_csv(url,mode="a", index=False, header=False)

然而,我已将写入模式指定为“a”,以便之后添加而不重写文件。

非常感谢您的帮助:)

【问题讨论】:

    标签: python pandas csv google-cloud-storage


    【解决方案1】:

    Google Cloud Storage 对象是不可变的。这意味着您无法修改创建后的对象。您必须实现 read-modify-write 并替换现有对象。

    Object immutability

    对象是不可变的,这意味着上传的对象不能 在整个存储生命周期内发生变化。对象的存储寿命 是成功创建对象之间的时间,例如上传,和 成功删除对象。在实践中,这意味着您不能 对对象进行增量更改,例如追加操作或 截断操作。但是,可以替换以下对象 存储在 Cloud Storage 中,并且以原子方式进行:直到 新上传完成,旧版本的对象被提供给 读者,并在上传完成后新版本的对象 提供给读者。所以一个单一的替换操作只是标记 一个不可变对象生命周期的结束和一个新对象的开始 不可变对象的生命周期。

    Google 还支持 Compose API。这支持将两个或多个对象组合成一个新的 Cloud Storage 对象。

    Composing Objects

    使用 Compose API,您可以将 追加 数据上传到临时对象,然后将原始对象与追加对象合并。这将模拟附加到文件。

    【讨论】:

      猜你喜欢
      • 2019-11-23
      • 2021-06-16
      • 1970-01-01
      • 2020-01-15
      • 2018-04-22
      • 2018-04-03
      • 2018-04-30
      • 2020-05-11
      • 2017-04-02
      相关资源
      最近更新 更多