使用机械化的异步请求

Question

我正在并行解析一堆文档，我很想使用异步网络请求来完成。

我尝试将 typhoeus 与 mechanize 集成，但在从 mechanize 传递 cookie 时遇到问题。

我的步骤：

1. 通过 mechanize 登录并获取 cookie。
2. 将 cookie 传递给 typhoeus 并发送请求。
3. 使用 nokogiri 解析响应。
4. 重复 2-3 次。

我正在发送请求：

Typhoeus::Request.new("http://example.com", headers: {'Cookie' => agent.cookies})

其中agent 是一个机械化实例。

有没有办法将 Mechanize 与 Eventmachine 或 Typhoeus 集成？

Answer 1

agent.cookies 是一个数组。也许你想要：

agent.cookies.join('; ')