Python ftp.retrbinary() 在函数中并行调用时不起作用

Question

我正在使用脚本从 ftp 服务器检索数据。由于我想并行下载，ftp.retrbinary 在函数中被调用。

Atm 的工作代码如下所示：

from ftplib import FTP

def download_file(file_in, target_file):
    ftp.retrbinary('RETR '+file_in, open(target_file, 'wb').write)
    return 0

ftp = FTP(FTP_HOST)
ftp.login(FTP_USER, FTP_PASS)
ftp.cwd(FTP_PATH)

for file_input in files_to_check:
    download_file(target_dir,file_input)

只要我想并行下载，下载就卡住了，没有数据传输：

from ftplib import FTP
from joblib import Parallel, delayed

def download_file(file_in, target_file):
    ftp.retrbinary('RETR '+file_in, open(target_file, 'wb').write)
    return 0

ftp = FTP(FTP_HOST)
ftp.login(FTP_USER, FTP_PASS)
ftp.cwd(FTP_PATH)

Parallel(n_jobs=2)(delayed(download_file)(target_dir,file_input) for file_input in files_to_check)

有人知道为什么ftp.retrbinary 不适用于并行下载吗？

Answer 1

您不能将一个 FTP 会话用于多个并行传输。 FTP 协议不支持（例如与 SFTP 相反）。

您必须为每个并行作业打开一个单独的 FTP 会话。