【问题标题】:How do you write a .feather file into GCS?您如何将 .feather 文件写入 GCS?
【发布时间】:2021-11-23 05:50:58
【问题描述】:

之前处理过 .csv 文件,可以直接上传到 GCS

对于 csv,我会执行以下操作:

blob = bucket.blob(path)
blob.upload_from_string(dataframe.to_csv(), 'text/csv')

我正在尝试做同样的事情,即将数据帧作为存储桶中的 .feather 文件写入

blob = bucket.blob(path)
blob.upload_from_string(dataframe.reset_index().to_feather(), 'text/feather')

但是,如果说 to_feather() 需要一个 fname,这将失败。任何关于我哪里出错的建议/指导都会有所帮助。

【问题讨论】:

    标签: python dataframe google-cloud-storage feather


    【解决方案1】:

    upload_from_string 适用于 to_csv() 方法,因为“路径”参数是可选的。当没有提供路径时,结果以字符串形式返回。另一方面,to_feather() 方法需要指定路径。因此,您应该存储羽化文件,然后将羽化文件上传到 GCS。 参考以下代码:

    dataFrame.reset_index().to_feather(FILE PATH)
    
    bucket_name = "BUCKET-NAME"
    source_file_name = "FILE PATH"
    destination_blob_name = "GCS Object Name"
    
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(destination_blob_name)
    
    blob.upload_from_filename(source_file_name)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-02-18
      • 1970-01-01
      • 1970-01-01
      • 2019-10-06
      • 1970-01-01
      • 2021-10-24
      • 1970-01-01
      相关资源
      最近更新 更多