与另一台笔记本电脑相比，使用 python 脚本上传在一台笔记本电脑上需要很长时间

Question

我有一个 python 2.7 代码，它使用 STORBINARY 函数将文件上传到 ftp 服务器，并使用 RETRBINARY 函数从该服务器下载。

但是，与戴尔笔记本电脑相比，不同品牌的三台笔记本电脑的上传需要很长时间。奇怪的是，当我手动上传任何文件时，所有系统都需要相同的时间。

手动上传速率和使用 python 脚本的上传速率在戴尔笔记本电脑上是相同的。但是，在所有其他品牌的笔记本电脑上（我尝试过使用 IBM、Toshiba、Fujitsu-Siemens），python 脚本的上传速率都比手动尝试的低。此外，在所有这些其他笔记本电脑上，使用 python 脚本的上传速率是相同的（1Mbit/s），而手动上传速率大约是 1Mbit/s。 8 兆比特/秒。

我已尝试更改上传文件的大小，但无济于事。 TCP Optimizer 提高了所有系统的下载速率，但对上传速率没有影响。在所有系统上使用此脚本的下载速度都很好，与手动下载速度相同。

我检查了服务器，它有超过 90% 的可用空间。所有笔记本电脑的网络连接都是相同的，我尝试一次只用一台笔记本电脑上传。所有笔记本电脑都具有几乎相同的系统配置、相同的操作系统和大致相同的可用驱动器空间。如果戴尔笔记本电脑在处理能力和 RAM 方面比其他 2 台笔记本电脑少一点，但我认为这没有影响，因为我已经检查了很多次，看看这些上传期间的 CPU 使用率和网络使用率有多少下载，我确信没有其他病毒或程序占用了我的带宽。

---

即使使用“storbinary”命令，当我将块大小指定为 57344（56 kB）时，上传速率从原来的 1 到 1.5 Kbit/s 提高到大约 5 Kbit/s...这是什么原因?以及如何找出我的手动上传客户端（我使用 filezilla）使用的块大小，或者更好的是上传的最佳块大小？ @guidot

---

完整代码：

def upnew(counter=0):

    f=open("c:/10", "w")

    f.write(os.urandom(10*1024*1024))
    f.close()

    print "Logging in..."

    ftpserver='xxxxxxx'

    ftpuser='xxxxxxx'

    ftppw='xxxxxxxxx'

    ftp = FTP(ftpserver)    
    ftp.login(ftpuser, ftppw)  

    t = open("c:/10", "rb")                       
    upstart = time.clock() 

    ftp.storbinary('STOR 10', t)

    upende = time.clock()-upstart

    print ((10*8)/upende)

    print "press Return to disconnect"
    raw_input()

    ftp.quit()
    print "FTP Verbindung abgebaut"


upnew(1)

Answer 1

Python 主要用于脚本和流程自动化，在技术上不被认为是一种快速变化的语言（尽管比大多数其他脚本语言更快）。 Filezilla 使用 C/C++ 编码，在性能上远远优于 Python。话虽如此，这不是一个公平的比较，我们应该在尝试识别可能导致一般性能问题的逻辑问题时考虑它。

storbinary 基本上充当 ntransfercmd 的包装器，调用 ntransfercmd 而不需要我们定义自己的缓冲区（这就是我之前推荐的原因）。

此外，在再次分析您的代码 snip-it 之后，我注意到您通过 print 语句调用 storbinary...这是错误的吗？

此时，我们将需要此示例中使用的所有相关代码来识别可能影响性能的任何逻辑问题，请在您之前的 snip-it 的基础上为我们提供更多信息。

这里要考虑的另一个因素是您进行测试的一般系统环境......考虑您执行所述测试的每个系统的位置，它们与 FTP 服务器的距离，此外，差异在对与基于 TCP/IP 的连接（如 ftp）相关的性能问题进行故障排除时，ISP 或 DNS 服务器可能会发挥主要作用。

Answer 2

我可能错了，但问题似乎在于您调用和使用 ftp.storbinary() 的方式

我会尝试改用 ftp.ntransfercmd() 并在传输过程中使用缓冲区来分解传输。这为您提供了额外的好处，即能够跟踪 ftp 传输的进度，并且理论上允许您根据需要暂停和重新启动该过程。

尚未测试此脚本的性能，但您可以尝试执行以下操作：

    def ftpUploader():
        BLOCKSIZE = 57344 # size 56 kB

        ftp = ftplib.FTP()
        ftp.connect(host)
        ftp.login(login, passwd)
        ftp.voidcmd("TYPE I")
        f = open(zipname, 'rb')
        datasock, esize = ftp.ntransfercmd(
            'STOR %s' % os.path.basename(zipname))
        size = os.stat(zipname)[6]
        bytes_so_far = 0
        print 'started'
        while 1:
            buf = f.read(BLOCKSIZE)
            if not buf:
                break
            datasock.sendall(buf)
            bytes_so_far += len(buf)
            print "\rSent %d of %d bytes %.1f%%\r" % (
                  bytes_so_far, size, 100 * bytes_so_far / size)
            sys.stdout.flush()

        datasock.close()
        f.close()
        ftp.voidresp()
        ftp.quit()
        print 'Complete...'

Answer 3

请提供您的代码的工作示例...无法看到您如何实现 ftp 功能，不可能提供有用的反馈，但通常您可能会从使用线程或套接字中受益。