【问题标题】:looping in beautiful soup / no errors在美丽的汤中循环/没有错误
【发布时间】:2020-03-19 04:12:11
【问题描述】:

我一直在编写一个程序,假设项目一旦加载到网站上,就会在网站上找到它们。到目前为止,脚本将两个不同的值(关键字)用于描述一个项目和一个用于选择项目颜色的颜色作为输入。解析是网站上已经存在的项目,但可以说我在网站加载项目之前运行我的程序,而不是必须重新运行整个脚本,我希望它只是刷新页面并重新-解析数据,直到找到它。我的问题中也没有包含任何错误,因为从我的脚本运行示例中,我输入了与网站上的项目无关的关键字和颜色,而不是收到错误,我只是得到“进程完成,退出代码 0”。提前感谢任何花时间提供帮助的人!

这是我的代码:

【问题讨论】:

  • 为什么你不能简单地使用 selenium 进行初始加载,而不是使用请求然后 BS。使用 selenium,您可以启动浏览器,然后获取所有 li>a 项目并执行您在循环中尝试的相同操作。
  • 欢迎来到 Stack Overflow!请阅读为什么a screenshot of code is a bad idea。粘贴代码并正确格式化。
  • 我是新手,所以我不知道硒也可以刮,但现在我知道了,谢谢!

标签: python selenium loops beautifulsoup python-requests


【解决方案1】:

正如另一位用户所建议的,您最好在整个过程中使用 Selenium,而不是仅将其用于部分代码并在 BSoup 和 Selenium 之间进行交换。

至于如果某些项目不存在则重新加载页面,如果您已经知道页面上应该有哪些项目,那么您可以简单地通过 id 使用 selenium 搜索每个项目,如果找不到一个或多个然后使用以下代码行刷新页面:

driver.refresh()

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多