BeautifulSoup 在标签之间一无所获

Question

我是一个写网络爬虫的新手。我想使用http://www.creditchina.gov.cn/search_all#keyword=&searchtype=0&templateId=&creditType=&areas=&objectType=2&page=1 的搜索引擎来检查我的输入是否有效。

例如，912101127157655762 是有效输入，912101127157655760 是无效输入。

通过开发者工具查看网页源代码后，我发现如果输入的是无效数字，则标签为：

如果输入有效，则标签为：

所以我想通过检查'ul class=“credit-info-results public-results-left item-template”'标签中是否有任何内容来确定输入是否有效。以下是我编写网络爬虫的方式：

import urllib
from bs4 import BeautifulSoup
url = 'http://www.creditchina.gov.cn/search_all#keyword=912101127157655762&searchtype=0&
templateId=&creditType=&areas=&objectType=2&page=1'
req = urllib.request.Request(url)
data = urllib.request.urlopen(req)
bs = data.read().decode('utf-8')
soup = BeautifulSoup(bs, 'lxml')
check = soup.find_all("ul", {"class": "credit-info-results public-results-left item-template"})
if check == []:
    # TODO
if check != []:
    # TODO

但是，check 的值始终是 []。我不明白为什么选项卡之间没有任何内容。希望有人可以帮助我解决问题。

Answer 1

你得到的不是 html 而是 JS 对象作为响应。这就是为什么BS无法解析它。

您可以使用子字符串搜索来检查响应是否包含某些内容。

import urllib
from bs4 import BeautifulSoup
url = 'http://www.creditchina.gov.cn/search_all#keyword=912101127157655762&searchtype=0&
templateId=&creditType=&areas=&objectType=2&page=1'
req = urllib.request.Request(url)
data = urllib.request.urlopen(req)
bs = data.read().decode('utf-8')

ul_pos = bs.find('credit-info-results public-results-left item-template')
if ul_pos <> 0:
  bs = bs[ul_pos:]

soup = BeautifulSoup(bs, 'lxml')
check = soup.find_all("ul", {"class": "credit-info-results public-results-left item-template"})
if check == []:
    # TODO
if check != []:
    # TODO