Python BeautifulSoup 无法读取 div 标签

Question

我正在尝试从此页面获取我正在从事的项目的产品：lazada， page ispection 使用：

from bs4 import BeautifulSoup
import urllib
import re
r = urllib.urlopen("http://www.lazada.co.id/catalog/?q=note+2").read()
soup = BeautifulSoup(r,"lxml")
letters = soup.findAll("span",class_=re.compile("product-card__name"))
print type(letters) 
print letters[0]

当我这样做时，我收到以下错误：

回溯（最近一次通话最后）： 文件“C:/Python27/project/testaja.py”，第 9 行，在 打印字母[0] IndexError：列表索引超出范围

对此有什么想法吗？

Answer 1

我认为您可能访问了他们的页面太多，在浏览器中导航并查看该页面在您的网络上返回的内容。

此外，您可以修改代码，以便在尝试抓取页面之前检查页面响应标头以确保页面正确返回。我修改了您的代码以显示以下示例：

from bs4 import BeautifulSoup
import urllib
import re

r = urllib.urlopen("http://www.lazada.co.id/catalog/?q=note+2")
header_code = r.getcode()

if header_code == 200:
    html = r.read()
    soup = BeautifulSoup(html, "lxml")
    letters = soup.findAll("span", {"class" : re.compile("product-card__name")})

    for letter in letters:
        print letter
else:
    print("oops, something went wonky. Page response was: %s"% header_code)