Python / Beautiful Soup 数据显示问题 [重复]答案

【问题标题】：Python/ Beautiful Soup Data Displaying Issue [duplicate]Python / Beautiful Soup 数据显示问题 [重复]
【发布时间】：2021-07-22 11:31:44
【问题描述】：

我正在尝试从网站中提取一些数据。一旦我检查了我用 beuatifulsoup 提取的数据（在下面的代码中使用 print(soup) ）似乎不太好。这与我使用 view-source:URL 检查时不同。我无法找到我正在寻找的字段。你能帮我找到解决办法吗？

网址：https://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html

基本上，我正在尝试获取该产品的价格。我在其他网站上使用了相同的代码结构，它可以正常工作，但在 Wayfair 上无法正常工作。

我找不到解决方案的第二件事是我的代码的最后一行（StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000）。除了产品名称，有没有办法只获得 389.99 美元这样的价格？

提前致谢！

这是我的代码：

html = requests.get('https://www.wayfair.com/furniture/pdp/mercury-row-stalvey-contemporary-4725-wide-1-drawer-server-w003245064.html')
soup=BeautifulSoup(html.text,"html.parser")
print(soup)
inps=soup.find("div",class_="SFPrice").find_all("input")
for inp in inps:
    print(inp.get("StyledBox-owpd5f-0 PriceV2__StyledPrice-sc-7ia31j-0 lkFBUo pl-Price-V2 pl-Price-V2--5000"))

【问题讨论】：

你真的运行过你的代码吗？它应该会产生一个错误（就像在我的测试中一样），因为即使是第一个“div”也不在请求的 html 数据中。这是一个客户端呈现的网站！

标签： python beautifulsoup data-scrubbing

【解决方案1】：

尝试：

soup.findAll('div', {'class': 'SFPrice'})[0].getText()

或者用更简单的方式：

inps=soup.findAll('div', {'class': 'SFPrice'})[0]
inps.getText()

两者都返回该特定产品的价格。

【讨论】：

感谢四位的快速回复。但是他们都给了我下面的错误。
inps=soup.findAll('div', {'class': 'SFPrice'})[0] IndexError: list index out of range
这意味着没有。这也解释了为什么您的原始代码没有返回任何内容。它实际上更正确。
我用 Selenium 做了我的例子。对于请求，我得到了同样的错误，这是由于它是客户端呈现的页面，如下面的答案所述。

【解决方案2】：

您的网站示例是一个客户端呈现页面，并且提取的原始 html 数据不包括搜索到的元素（例如具有“SFPrice”类的 div）。

查看this question，了解如何使用 beautifulsoup 结合 selenium 和 phantomJS、dryscrape 或其他选项来抓取 javascript 呈现的页面。

或者你也可以看看this guide。

【讨论】：

请发表评论指出重复，而不是发布带有指向不同问题的链接的非答案。
@tripleee 当他没有意识到这个问题时，它是如何重复的？所以这回答了他的问题，为什么他找不到元素。
我们不能要求提问者知道答案。指导原则是，具有相同答案的问题应作为重复问题关闭。