【问题标题】:Python BeautifulSoup store URL after search搜索后的 Python BeautifulSoup 商店 URL
【发布时间】:2019-03-06 16:09:46
【问题描述】:

我创建了一个脚本,输入登录名和密码,按下登录按钮,进入搜索页面,输入搜索并获取结果页面。 我需要存储这个结果 URL,这样我就可以使用 Beautiful soup 来提取我需要的信息。但是,我无法使用 requests 库,因为在进行搜索之前我不知道 URL。 下面是我的问题的一个例子,我点击提交按钮很好,页面加载延迟 2 秒。然后我尝试将结果页面存储为变量 r 并使用汤来获取我需要的信息。

但是使用下面的代码,我得到错误'str' object has no attribute 'content',所以我认为这是我的 r 变量。提前致谢。

submitbutton.click()
time.sleep(2)
r = browser.page_source
soup = bs4.BeautifulSoup(r.content,'lxml') 
data = soup.find("div" , {"class": "specification"})

【问题讨论】:

  • 只使用r 而不是r.content

标签: python selenium beautifulsoup


【解决方案1】:

假设 (*1)submitbutton.click()r = browser.page_source 是 selenium 调用,“r”的值是一个纯字符串 - 页面的 HTML 源,此时你调用了 @ 987654323@.
因此,它没有 .content 属性(与您遇到的相同的异常),并且您不需要它 - 您已经拥有 html,只需将其按原样传递给 BS 的构造函数:

soup = bs4.BeautifulSoup(r,'lxml') 

*1 假设基于问题标签,方法/属性名称,下次更明确。

【讨论】:

  • 谢谢。您的假设和解决方案是 100% 正确的。现在完美运行。欣赏。
猜你喜欢
  • 2017-06-30
  • 2019-04-25
  • 1970-01-01
  • 1970-01-01
  • 2015-10-28
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-03-15
相关资源
最近更新 更多