谁能告诉我是否可以直接从 Azure blob 存储中读取 csv 文件作为流并使用 Python 处理它？我知道它可以使用 C#.Net（如下所示）来完成，但想知道 Python 中的等效库来做到这一点。
CloudBlobClient client = storageAccount.CreateCloudBlobClient();
CloudBlobContainer container = client.GetContainerReference("outfiles");
CloudBlob blob = container.GetBlobReference("Test.csv");*
【问题讨论】：
标签： python azure azure-blob-storage
是的，当然可以这样做。查看Azure Storage SDK for Python
from azure.storage.blob import BlockBlobService
block_blob_service = BlockBlobService(account_name='myaccount', account_key='mykey')
block_blob_service.get_blob_to_path('mycontainer', 'myblockblob', 'out-sunset.png')
您可以在此处阅读完整的 SDK 文档：http://azure-storage.readthedocs.io。
【讨论】：
这是使用new version of the SDK (12.0.0) 的一种方法：
from azure.storage.blob import BlobClient
blob = BlobClient(account_url="https://<account_name>.blob.core.windows.net"
container_name="<container_name>",
blob_name="<blob_name>",
credential="<account_key>")
with open("example.csv", "wb") as f:
data = blob.download_blob()
data.readinto(f)
详情请见here。
【讨论】：
data = blob.download_blob() 时，blob 的内容将在data 中，您无需写入文件。
data 的内容转换为带有 pd.read_csv(data) 的数据框。
在此处提供您的 Azure 订阅 Azure 存储名称和密钥作为帐户密钥
block_blob_service = BlockBlobService(account_name='$$$$$$', account_key='$$$$$$')
这仍然会获取 blob 并在当前位置保存为 'output.jpg'
block_blob_service.get_blob_to_path('you-container_name', 'your-blob', 'output.jpg')
这将从 blob 中获取文本/项目
blob_item= block_blob_service.get_blob_to_bytes('your-container-name','blob-name')
blob_item.content
【讨论】：
可以像这样使用 python 从 blob 流式传输：
from tempfile import NamedTemporaryFile
from azure.storage.blob.blockblobservice import BlockBlobService
entry_path = conf['entry_path']
container_name = conf['container_name']
blob_service = BlockBlobService(
account_name=conf['account_name'],
account_key=conf['account_key'])
def get_file(filename):
local_file = NamedTemporaryFile()
blob_service.get_blob_to_stream(container_name, filename, stream=local_file,
max_connections=2)
local_file.seek(0)
return local_file
【讨论】：
我推荐使用smart_open。
from smart_open import open
# stream from Azure Blob Storage
with open('azure://my_container/my_file.txt') as fin:
for line in fin:
print(line)
# stream content *into* Azure Blob Storage (write mode):
with open('azure://my_container/my_file.txt', 'wb') as fout:
fout.write(b'hello world')
【讨论】：
我知道这是一篇旧帖子，但如果有人想做同样的事情。 我可以按照以下代码访问
注意：您需要设置 AZURE_STORAGE_CONNECTION_STRING，可以从 Azure 门户获取 -> 转到您的存储 -> 设置 -> 访问密钥，然后您将在那里获得连接字符串。
对于 Windows： setx AZURE_STORAGE_CONNECTION_STRING ""
对于 Linux： 导出 AZURE_STORAGE_CONNECTION_STRING=""
对于 macOS： 导出 AZURE_STORAGE_CONNECTION_STRING=""
import os
from azure.storage.blob import BlobServiceClient, BlobClient, ContainerClient, __version__
connect_str = os.getenv('AZURE_STORAGE_CONNECTION_STRING')
print(connect_str)
blob_service_client = BlobServiceClient.from_connection_string(connect_str)
container_client = blob_service_client.get_container_client("Your Storage Name Here")
try:
print("\nListing blobs...")
# List the blobs in the container
blob_list = container_client.list_blobs()
for blob in blob_list:
print("\t" + blob.name)
except Exception as ex:
print('Exception:')
print(ex)
【讨论】：
以下是使用 Pandas 从 Blob 读取 CSV 的简单方法：
import os
from azure.storage.blob import BlobServiceClient
service_client = BlobServiceClient.from_connection_string(os.environ['AZURE_STORAGE_CONNECTION_STRING'])
client = service_client.get_container_client("your_container")
bc = client.get_blob_client(blob="your_folder/yourfile.csv")
data = bc.download_blob()
with open("file.csv", "wb") as f:
data.readinto(f)
df = pd.read_csv("file.csv")
【讨论】：