【发布时间】:2020-08-02 03:15:56
【问题描述】:
我正在编写一个用于网页抓取的小项目,该程序会抓取一个包含多个页面的商店。让一些东西被点击有点困难,所以对我来说,使用 Beautifulsoup 获取他们的 URL 并且只需执行 driver.get(URL) 就容易得多。 我最近因为多个 urlopen 请求(较早)而被网站踢出,这就是我开始使用 selenium 的原因。我的问题是: driver.get(URL) 是否会被视为最有可能的“人工操作”,例如单击按钮?会不会 driver.get 和 urlopen 一样有风险,以至于我的司机会被踢出去?
我希望你能理解我的问题。 提前致谢。
【问题讨论】:
标签: python selenium beautifulsoup