【问题标题】:copy whole ftp folder to ADLS gen2 container using azure synapse workspace python使用 azure synapse workspace python 将整个 ftp 文件夹复制到 ADLS gen2 容器
【发布时间】:2022-08-02 16:28:26
【问题描述】:

我有一个 FTP 服务器帐户,我想使用 Python 中的 Azure Synapse Workspace 笔记本将特定文件夹及其所有内容下载到我的 ADLS Gen2 帐户文件夹。我尝试了不同的方法,但我能够在我的笔记本中显示目录和文件的名称作为输出,但是我无法在 azure synapse 中找到如何做到这一点。谁能帮我。提前致谢。

from ftplib import FTP
Host = \'8.8.8.8\'
Username = \'name\'
Password = \'password\'
dirname = \'/DocFolders/\'
write_path = \'abfss://container@gen2account.dfs.core.windows.net/incoming/\'
with FTP(Host) as ftp:
   ftp.login(user=Username,passwd=Password)
   ftp.cwd(dirname)
   files = ftp.nlst()
   print(files)
   for fileName in files:
     print(fileName)
     with open(fileName, \'wb\') as f:
        ftp.retrbinary(\'RETR fileName\', f.write(write_path),1024)

在 - 的里面文档文件夹有一个文件夹名为建筑物和里面建筑物文件夹有两个文件夹(命名为地图数据) 和两个 excel 文件。里面地图数据实际的数据文件在那里,所以我想获取整个建筑物文件夹,因为我想要所有文件夹中的所有文件以及excel文件。有没有办法使用 azure synapse workspace notebook 直接复制整个 Buildings 文件夹,因为它在我的 gen2 文件夹中。

  • 我不明白这问题。那你下载有问题吗?或者有问题\"显示目录和文件的名称\"?
  • 是的,我在将文件夹及其所有文件复制到我的 adls gen2 帐户时遇到了问题。我正在使用带有 pyspark 编码的 Synapse 笔记本
  • 什么问题?你做了什么来调试问题?

标签: python ftp azure-synapse azure-data-lake-gen2


【解决方案1】:

为什么不使用管道、复制活动从 FTP 获取数据?并复制到 ADLS

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-01-30
    • 2020-04-20
    • 2021-05-01
    • 1970-01-01
    • 2020-09-15
    • 1970-01-01
    • 1970-01-01
    • 2021-03-13
    相关资源
    最近更新 更多