发送一堆http请求的最快方式

【问题标题】：Fastest way of send a bunch of http requests发送一堆http请求的最快方式
【发布时间】：2022-01-18 21:31:00
【问题描述】：

所以我正在构建一个需要从一堆网站上抓取大量数据的应用程序，我想知道最快的方法是什么？我愿意接受所有建议、所有编程语言和所有方法，只要至少有任何关于它们的信息。到目前为止，我设法达到的最快速度是 300 毫秒内 1000 个请求，并且在本地主机上生锈了。

【问题讨论】：

请澄清您的具体问题或提供其他详细信息以准确突出您的需求。正如目前所写的那样，很难准确地说出你在问什么。

标签： http https python-requests

【解决方案1】：

我认为 HTTP 请求的 Hyper 库是发送异步请求的最快方式。它是一个低级库，提供客户端和服务器端 API。以下是使用 Hyper 发出 GET 请求的方法。首先，创建一个新的客户端对象，然后向它传递一个从中检索数据的 URL。接下来，使用 Rust 支持的新 await 语法来等待响应。

let client = Client::new();

// Parse an `http::Uri`...
let uri = "http://httpbin.org/ip".parse()?;

// Await the response...
let resp = client.get(uri).await?;

println!("Response: {}", resp.status());

【讨论】：