Rails背景图片上传导致应用程序超时

Question

不幸的是，对于那些有类似问题的人来说，赏金奖励给了一个不能解决这个问题的答案。

我有一个带有图片上传的表单（heroku 到 s3）。当我提交表单时，我的 Rails 服务器会等待上传图像的后台作业完成，然后再向用户返回响应。这会导致每次上传图片时应用程序超时。

当前事件顺序：

1. 用户提交表单
2. 服务器接收表单
3. 如果有图片，服务器启动后台作业
4. 如果后台作业已启动，服务器会等待它完成（rails 在此处超时）
5. 如果启动，后台作业完成
6. 服务器处理请求
7. 服务器响应用户

所需的事件顺序：

1. 用户提交表单
2. 服务器接收表单
3. 服务器处理非图像字段
4. 如果有图片，服务器启动后台作业
5. 服务器响应用户
6. 后台作业完成，服务器处理上传的图片（保存 URL）

上传代码

class PhotoUploader < CarrierWave::Uploader::Base
  include ::CarrierWave::Backgrounder::Delay
  include CarrierWave::MimeTypes
  process :set_content_type
  storage :fog
end

Carrierwave::Backgrounder 初始化器

CarrierWave::Backgrounder.configure do |c|
  c.backend :sidekiq, queue: :carrierwave
end

用户模型

class User < ActiveRecord::Base
  mount_uploader :photo, PhotoUploader, delayed: true
  process_in_background :photo
end

没有控制器代码，因为表单由 ActiveAdmin 处理。我可以在需要的地方覆盖，但无法弄清楚需要改变什么。

要获得正确的事件顺序，我必须进行哪些更改？

Answer 1

这里的根本问题是 Heroku 对请求可以阻塞多长时间而不将数据发送回客户端有严格的限制。如果您达到该限制（初始字节为 30 秒），Heroku 将使您的请求超时。对于文件上传，您很可能会达到此限制。

最好的方法是让用户的浏览器先将文件直接上传到 S3。这里有一些与此相关的讨论：Direct Uploads to S3 using Carrierwave

如果您使用 jQuery File Upload 插件 (https://github.com/blueimp/jQuery-File-Upload) 之类的东西，流程将类似于：

• 用户在点击提交前向表单添加一个或多个文件。
• 文件直接上传到 S3，并为每个文件添加一个文件上传令牌到您的表单。
• 用户使用上传文件的令牌而不是文件的内容提交表单。
• 服务器可以根据提交的令牌将文件移动到它们在 S3 中的真实位置。

这使您的网络服务器可以专注于处理请求，而不是阻止可能需要很长时间的文件上传。

由于 Heroku 的限制，这需要更多的工作 - 但最终我认为这是您避免超时限制的唯一选择。

另外，我建议您创建一个上传 S3 存储桶，然后设置一个 S3 生命周期策略来清除超过某个时间间隔的文件。当您进行直接文件上传时，通常会由于用户放弃等原因导致某些上传无法处理，因此生命周期负责清理这些文件。