Ruby Net：Http 获取请求给出的响应与浏览器不同

Question

我正在尝试使用 Net::HTTP 从 API 服务器获取数据。

puts "#{uri}".green
response = Net::HTTP.new('glassdoor.com').start { |http|
  # always proxy via your.proxy.addr:8080
  response =  http.get(uri,  {'Accept' => 'application/json'})
  puts "Res val: #{response.body}".blue
}

我从控制台得到uri 并粘贴到浏览器中，我收到了 JSON 响应。

但是使用 Ruby Net::HTTP get 我会收到一些安全消息：

为什么不一样？浏览器和 Ruby 脚本位于同一个公共 IP 后面。

Answer 1

您被检测为爬虫（顺便说一句，正确）。请注意，这些请求（来自浏览器和脚本）并不完全相同。浏览器会发送一些标头，例如接受的语言、用户代理等。您可以使用浏览器中的 Web 检查器工具查看它。另一方面，在您的脚本中，您只设置了 Accept 标头（以及 JSON，它本身就很可疑，因为浏览器永远不会这样做）。而且您不发送任何用户代理。很容易看出这是一个自动请求，而不是来自浏览器的自然流量。