仅在 Azure Web 应用程序中从 FTP 下载文件失败答案

【问题标题】：File download from FTP fails only in Azure web app仅在 Azure Web 应用程序中从 FTP 下载文件失败
【发布时间】：2018-01-05 15:44:02
【问题描述】：

我有这个从 FTP 服务器下载文本文件列表的非常基本的代码：

foreach (var fileUri in files)
{
    try
    {
        var ftpRequest = (FtpWebRequest)FtpWebRequest.Create(fileUri);
        ftpRequest.Method = WebRequestMethods.Ftp.DownloadFile;
        ftpRequest.Credentials = new NetworkCredential("***", "***");
        ftpRequest.UseBinary = false;
        ftpRequest.Timeout = 10_000;
        ftpRequest.ReadWriteTimeout = 10_000;

        using (WebResponse response = await ftpRequest.GetResponseAsync().ConfigureAwait(false))
        using (var stream = response.GetResponseStream())
        {
            // Copy the file to an Azure storage
            await CopyAsync(stream, container, GetFilename(fileUri), false).ConfigureAwait(false);
        }
    }
    catch (Exception e)
    {
        Logger.Error(Unknow, $"Error downloading {fileUri.AbsoluteUri}:\n{e}");
    }
}

从 Visual Studio 运行时，此代码运行良好。但是当在 Azure 中作为 Web 作业运行时，它只会下载几个文件，然后就永远挂起。

我没有超时或异常。

我添加了一些调试日志，发现它卡在GetResponseAsync() 上。我尝试不使用ConfigureAwait(false)，但得到了相同的行为。

我还使用this answer 来检查网络跟踪，但我在日志中找到的所有 FTP 命令都正常。对于成功下载的每个文件，我都会看到以下几行，但对于阻塞的文件没有看到任何“不完整”的 FTP 命令：

System.Net Information: 0 : [22712] FtpWebRequest#2543959::.ctor(ftp://<ftpserver>/<filename>)
System.Net Information: 0 : [21728] FtpWebRequest#2543959::BeginGetResponse(Method=RETR.)
System.Net Information: 0 : [21728] Associating FtpWebRequest#2543959 with FtpControlStream#64735656
System.Net Information: 0 : [21728] FtpControlStream#64735656 - Sending command [PASV]
System.Net Information: 0 : [9444] FtpControlStream#64735656 - Received response [227 Entering Passive Mode (104,45,19,12,117,54).]
System.Net Information: 0 : [9444] FtpControlStream#64735656 - Sending command [RETR <filename>]
System.Net Information: 0 : [17608] FtpControlStream#64735656 - Received response [150 Opening ASCII mode data connection for <filename> (19262 bytes)]
System.Net Information: 0 : [21804] FtpControlStream#64735656 - Received response [226 Transfer complete]
System.Net Information: 0 : [21804] FtpWebRequest#2543959::(Releasing FTP connection#64735656.)

任何帮助/领导将不胜感激！

编辑 1

我尝试使用WebClient 而不是FtpWebRequest 并得到了相同的结果。它在我的机器上完美运行，但在 Azure 上作为 Web 作业运行时，它会下载几个文件，然后挂在 webClient.DownloadFileTaskAsync(...) 行上。此外，为了确保上传到 Azure 存储不会干扰该过程，我现在只需在本地下载文件。和 agin：没有例外，也没有超时。它只是永远挂起。

编辑 2

为了以防万一，我尝试删除将文件上传到 Azure 存储的行，但无济于事。然后，按照第一个评论者的建议，我添加了一个“超时包装器”，它基本上将我的代码作为一个任务运行，Task.Delay(10_000)，并等待第一个任务完成。如果下载任务先完成，那么一切都很好，但如果 Task.Delay(10_000) 先完成，我只是中止下载请求并重试。这样做，我观察到以下情况：首先，文件都在第一次尝试时被下载。然后，一些文件需要 2 次尝试，并且在某些时候，尽管 10 次尝试，所有文件都会失败。所以基本上，一切都很好，但很快就会退化。

【问题讨论】：

我没有解决方案，我只能建议您可能需要实施某种超时/重试机制来解决问题。也许您可以为此使用 Polly：github.com/App-vNext/Polly#timeout
这只是一种解决方法，但是是的，它可能是解决我的问题的一种方法。谢谢。

标签： c# azure ftp azure-webjobs

【解决方案1】：

Sooo...我觉得有点愚蠢，但问题不在于我推测的代码中。这只是CPU使用率的问题。我最终发现（在 Azure 支持的帮助下）我在同一个应用服务计划中还有其他 Web 作业，而且这些 Web 作业总共消耗了太多 CPU。但坦率地说，我发现这些症状非常具有误导性。

无论如何，我希望这对将来的某人有所帮助。

TL;DR始终检查您的 CPU 使用率！

【讨论】：