【问题标题】:what's the fastest way to web-scraping and get different items from a website从网站抓取和获取不同项目的最快方法是什么
【发布时间】:2019-11-02 23:12:50
【问题描述】:

我一直在从事一个使用 Selenium 和 requests 用 Python 编写的网络抓取项目。每次我需要数据时,我都会发送一个请求来获取它(或使用 Selenium),每个请求都需要时间。

我的问题是,是否有任何选项可以在 Python 甚至 javascript 中的 1 个请求中获取大量不同的数据(例如产品名称+价格+运费)?

例如给定一个网址:https://www.amazon.com/Dell-Inspiron-7573-i7-8550U-Windows/dp/B07NRC8ZXC/ref=sr_1_1_sspa?keywords=laptop+i7&qid=1572590892&sr=8-1-spons&psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyNjFPSFdTOEpVODdQJmVuY3J5cHRlZElkPUEwNTU5Nzk1MlBGWFkxU0JKOVlLNiZlbmNyeXB0ZWRBZElkPUEwNjU0MzYwM0NRT01ER1oxSDdMOCZ3aWRnZXROYW1lPXNwX2F0ZiZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

注意:您将此问题标记为与此问题重复 - How to click on Load More button within Google Trends and print all the titles through Selenium and Python 请,这些是不同的问题,我问的是获取不同“范围”下的产品价格+名称+运费,她问的是获取相同的“对象”(例如名称)! 因此,如果您知道任何其他方式来获取这些东西,而不是发送 3 个不同的请求来获取它们,我很想听听他们的消息……我听说有一种方法可以将几个请求合并为一个大请求javascript,是真的吗?

【问题讨论】:

    标签: javascript python selenium web-scraping request


    【解决方案1】:

    我还在等待答案,有人吗?

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-07-08
      • 2019-11-18
      • 1970-01-01
      • 2011-02-27
      • 2018-12-29
      • 2013-08-05
      • 1970-01-01
      • 2014-06-01
      相关资源
      最近更新 更多