如何在使用 Ruby 的 OpenUri 下载之前获取 HTTP 标头

Question

我目前正在使用 OpenURI 在 Ruby 中下载文件。不幸的是，如果不下载完整文件，似乎不可能获取 HTTP 标头：

open(base_url,
  :content_length_proc => lambda {|t|
    if t && 0 < t
      pbar = ProgressBar.create(:total => t)
  end
  },
  :progress_proc => lambda {|s|
    pbar.progress = s if pbar
  }) {|io|
    puts io.size
    puts io.meta['content-disposition']
  }

运行上面的代码表明它首先下载了完整的文件，然后才打印我需要的标题。

有没有办法在下载完整文件之前获取标题，所以如果标题不是我期望的那样，我可以取消下载？

Answer 1

与其使用 Net::HTTP，它可以像使用沙铲在海滩上挖一个水池一样，您可以使用一些用于 Ruby 的 HTTP 客户端并清理代码。

这是一个使用HTTParty的示例：

require 'httparty'

resp = HTTParty.head('http://example.org')
resp.headers
# => {"accept-ranges"=>["bytes"], "cache-control"=>["max-age=604800"], "content-type"=>["text/html"], "date"=>["Thu, 02 Mar 2017 18:52:42 GMT"], "etag"=>["\"359670651\""], "expires"=>["Thu, 09 Mar 2017 18:52:42 GMT"], "last-modified"=>["Fri, 09 Aug 2013 23:54:35 GMT"], "server"=>["ECS (oxr/83AB)"], "x-cache"=>["HIT"], "content-length"=>["1270"], "connection"=>["close"]}

此时很容易检查文档的大小：

resp.headers['content-length'] # => "1270"

不幸的是，您正在与之交谈的 HTTPd 可能不知道内容有多大；为了快速响应，服务器不一定要计算动态生成输出的大小，这几乎与实际发送它所花费的时间一样长，并且几乎与 CPU 密集型一样，因此依赖“内容长度”值可能是错误的。

Net::HTTP 的问题是它不会自动处理重定向，所以你必须添加额外的代码。当然，文档中提供了该代码，但是随着您需要做更多事情，代码会不断增长，直到您最终编写另一个 http 客户端 (YAHC)。所以，避免这种情况并使用现有的轮子。

Answer 2

似乎我想要的内容无法使用 OpenURI 进行归档，至少如我所说，如果不先加载整个文件，则不能。

我能够使用 Net::HTTP 的 request_get 做我想做的事

这里是一个例子：

http.request_get('/largefile.jpg') {|response|
  if (response['content-length'] < max_length)
    response.read_body do |str|   # read body now
      # save to file
    end
  end
}

请注意，这仅在使用块时有效，如下所示：

response = http.request_get('/largefile.jpg')

正文已经被读取。

Answer 3

这个问题可以使用Net::HTTP，例如：

require 'net/http'

http = Net::HTTP.start('stackoverflow.com')

resp = http.head('/')
resp.each { |k, v| puts "#{k}: #{v}" }
http.finish

另一个例子，这次拿到了精彩的书的标题，Object Orient Programming With ANSI-C：

require 'net/http'

http = Net::HTTP.start('www.planetpdf.com')

resp = http.head('/codecuts/pdfs/ooc.pdf')
resp.each { |k, v| puts "#{k}: #{v}" }
http.finish