【问题标题】:requests.get is very slow while fetching websitesrequests.get 在获取网站时非常慢
【发布时间】:2018-06-19 09:17:56
【问题描述】:

我正在尝试构建一个简单的终端应用程序来通过终端在线搜索内容。 当我通过图书馆提交获取请求时,我得到了非常长的挂墙时间。我似乎无法确定问题所在。

直接在浏览器中输入速度很快。

我已经在我的脚本文件中跳过了代理(此处未显示)。该问题已在请求中关闭,因为根据同行,这不是请求中的错误。

In [ 1 ]: import requests    
In [ 2 ]: %%time
     ...: response = requests.get('http://en.wikipedia.org')    
     ...:    
CPU times: user 123 ms, sys: 11.9 ms, total: 135 ms     
Wall time: 4min 22s

【问题讨论】:

  • 请插入文字,不要插入图片
  • 嗯,我运行它并得到CPU times: user 59.5 ms, sys: 497 µs, total: 60 ms Wall time: 1.88 s。您的互联网连接速度慢吗?
  • 嗨@RoadRunner。您的解决方案似乎是正确的。尝试更快的连接。有效。谢谢!

标签: python python-3.x time web-scraping python-requests


【解决方案1】:

这似乎是互联网连接速度的问题。当尝试使用更快的 Internet 连接时,脚本运行速度要快得多,而浏览器搜索的执行方式似乎大致相同。

简而言之:最好使用更快的互联网连接来处理请求,而不是 使用浏览器

【讨论】:

    猜你喜欢
    • 2014-08-11
    • 1970-01-01
    • 2016-06-11
    • 2014-11-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-07-15
    • 2011-11-23
    相关资源
    最近更新 更多