Python BeautifulSoup html.parser 不工作

Question

我有一个脚本可以从亚马逊提取图书信息，该脚本之前运行成功，但今天失败了。我无法弄清楚到底出了什么问题，但我假设它与解析器或 Javascript 相关。我正在使用下面的代码。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Dstripbooks&field-keywords=9780307397980',headers={'User-Agent': b'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0'})
html = response.content
soup = BeautifulSoup(html, "html.parser")
resultcol = soup.find('div', attrs={'id':'resultsCol'})

以前我在resultcol 中获取数据，但现在它是空白的。当我检查html 时，我看到了我正在寻找的标签，即<div id="resultsCol" class=\'\' >。但是soup 里面没有这个文本。谁能帮我调试一下？以前可以正常工作，但现在不行了。

Answer 1

您需要等到页面完全加载完毕。您必须使用phantomJs 来确保页面加载正确。

我能够使用以下代码获得正确的元素。

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = ("https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3D"
       "stripbooks&field-keywords=9780307397980")

browser = webdriver.PhantomJS()
browser.get(url)
html = browser.page_source
soup = BeautifulSoup(html, 'lxml')
resultcol = soup.find('img', attrs={'class': 's-access-image'})
print resultcol

Answer 2

删除标题，它应该可以工作。

from bs4 import BeautifulSoup
import requests
response = requests.get('https://www.amazon.com/s/ref=nb_sb_noss?url=search-    alias%3Dstripbooks&field-keywords=9780307397980')
html = response.content
soup = BeautifulSoup(html, "html.parser")
resultcol = soup.find('div', attrs={'id':'resultsCol'})`