将 DF 保存到 azure blob答案

【问题标题】：Saving a DF to azure blob将 DF 保存到 azure blob
【发布时间】：2021-08-22 09:22:32
【问题描述】：

我正在尝试保存从函数返回的 df（返回 df）。我正在尝试将此推送到我的 azure blob 存储帐户。

我遇到了一些麻烦，因为我发现的所有解决方案都需要文件路径，但我只想在数据帧上运行一些代码并将其自动保存到 azure blob。

根据要求，我的代码的 sn-p :)

如上所述，我希望将 df（熊猫数据框）作为 .csv 保存到 blob 中，我不是在寻找其他信息。

import pandas as pd
import numpy as np
import datetime
import os, uuid
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient, __version__

def function (df):
    df = df.rename(columns=df.iloc[1]).drop(df.index[0])
    df = df.iloc[1:]
    indexNames = df[df['Customer'].isin(['Stock', 'Sales', 'Over', '2021 Under'])].index
    df = df.drop(indexNames)
    df.columns = df.columns.fillna('ItemNo')
    for col in df:
        df['ItemNo'] = df['ItemNo'].ffill()
        
    
    return df

CONNECTION_STRING = ""
CONTAINERNAME = ""
BLOBNAME = ""
LOCALFILENAME = "" 

blob_service_client = BlobServiceClient.from_connection_string(CONNECTION_STRING) #instantiate new blobservice with connection string
#container_client = blob_service_client.get_container_client(CONTAINERNAME) #instantiate new containerclient
blob_client = blob_service_client.get_blob_client(container = CONTAINERNAME, blob=BLOBNAME)

#READ PRODUCTS FILE
f = open(LOCALFILENAME, "wb")
f.write(blob_client.download_blob().content_as_bytes())
f.close()
df = pd.read_excel(r''+LOCALFILENAME)

【问题讨论】：

可以分享一下上传的代码吗？基本上，如果你能够使用DataFrame.to_csv 获得缓冲区，你应该能够调用blob_client.upload_blob 方法。
这是我不知道该怎么做的部分，并且找不到足够帮助我编写代码的资源：df.to_csv -> 保存到 azure blob跨度>

标签： python dataframe azure-blob-storage etl data-transfer

【解决方案1】：

或许你可以试试下面的代码：

    temp_path = tempfile.gettempdir()
    file_path = os.path.join(temp_path, 'dataframe.csv')
    df.to_csv (file_path)
    with open(file_path, "rb") as data:
        blob_client.upload_blob(data)

【讨论】：