无法使用 BeautifulSoup 抓取嵌套表

Question

我一直在尝试使用requests_html、requests 和BeautifulSoup 抓取this page。每当我尝试在线进行（使用requests.get 或requests_html.HTMLSession()）时，我的代码都无法在表格内找到标签，如下例所示：

r = requests.get(url=url, verify=False)

soup = BeautifulSoup(r.text, 'html.parser')
div = soup.find('div', class_='collapse-3')
print(div)
#None

这个div 在一个部分内。

我已经尝试渲染页面了：

with HTMLSession() as session:
    r = session.get(url=url, headers=headers)

r.html.render()

div = r.html.find('div.collapse-3')
print(div)
#None

但没有成功。只有当我下载 HTML 并加载它时它才会起作用。

我找到了使用 Selenium 的 this 和 this 解决方案，但它们不能解决问题，我需要一个不依赖 Selenium 的解决方案。据我所知，问题在于我需要的信息在一个迭代表中，这阻止了我访问其中的信息。

欢迎任何建议！提前谢谢大家！

Answer 1

直接从源获取数据（以 JSON 形式返回）。然后读入pandas：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}
payload = {
'paginacaoSimples': 'false',
'tamanhoPagina': '1000',
'offset': '0',
'direcaoOrdenacao': 'asc',
'colunaOrdenacao': 'descricao',
'colunasSelecionadas': 'codigoItemCompra,descricao,descComplementarItemCompra,quantidade,valor,cpfCnpjVencedor,nome',
'skCompra': '205900728',
'_': '1633966570617'}

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])

输出：

print(df)
          codigoItemCompra  ...                         descComplementarItemCompra
0   1551260500022202100059  ...  ARTIGO PARA HIGIENE NO LEITO, TIPO LIMPADOR DE...
1   1551260500022202100004  ...  BANDAGEM ELÁSTICA, MATERIAL ALGODÃO, TIPO AUTO...
2   1551260500022202100003  ...  BANDAGEM ELÁSTICA, MATERIAL FITA MICROPOROSA, ...
3   1551260500022202100005  ...  BANDAGEM ELÁSTICA, MATERIAL NÃO TECIDO POROSO,...
4   1551260500022202100012  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
5   1551260500022202100010  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
6   1551260500022202100008  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
7   1551260500022202100017  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
8   1551260500022202100009  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
9   1551260500022202100016  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
10  1551260500022202100006  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
11  1551260500022202100014  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
12  1551260500022202100015  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
13  1551260500022202100013  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
14  1551260500022202100007  ...  BOLSA OSTOMIA, MATÉRIA PRIMA PLÁSTICO, APLICAÇ...
15  1551260500022202100018  ...  BOTA DE UNNA, COMPOSIÇÃO IMPREGNADA COM PASTA ...
16  1551260500022202100019  ...  CINTA ELÁSTICA, MATERIAL POLIÉSTER, TIPO ABDOM...
17  1551260500022202100020  ...  CLAMP INSTRUMENTAL, MODELO VASCULAR- BULLDOG, ...
18  1551260500022202100056  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
19  1551260500022202100024  ...  COBERTURA, TIPO DE COBERTURA FILME TRANSPARENT...
20  1551260500022202100045  ...  CREME HIDRATANTE, COMPOSIÇÃO URÉIA E ÁCIDO LÁT...
21  1551260500022202100022  ...  CURATIVO, MATERIAL POLIURETANO, DIMENSÃO CERCA...
22  1551260500022202100035  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
23  1551260500022202100049  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
24  1551260500022202100038  ...  CURATIVO, TIPO HIDROPOLÍMERO, REVESTIMENTO REC...
25  1551260500022202100057  ...  CURATIVO, MATERIAL POLIÉSTER, REVESTIMENTO REV...
26  1551260500022202100040  ...  CURATIVO, MATERIAL ACETATO DE CELULOSE, REVEST...
27  1551260500022202100046  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
28  1551260500022202100034  ...  CURATIVO, TIPO MEMBRANA COM MICROPARTICULA DE ...
29  1551260500022202100047  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
30  1551260500022202100037  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
31  1551260500022202100036  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO REVESTID...
32  1551260500022202100025  ...  CURATIVO, TIPO HIDROGEL, MATERIAL POLIURETANO ...
33  1551260500022202100063  ...  CURATIVO, TIPO HIDROCOLÓIDE, MATERIAL POLIURET...
34  1551260500022202100051  ...  CURATIVO, TIPO HIDROGEL, REVESTIMENTO COM ALGI...
35  1551260500022202100041  ...  CURATIVO, MATERIAL POMADA, REVESTIMENTO C/ CAD...
36  1551260500022202100023  ...  CURATIVO, TIPO HIDROPOLÍMERO, MATERIAL POLIURE...
37  1551260500022202100039  ...  CURATIVO, MATERIAL NÃO TECIDO, REVESTIMENTO PR...
38  1551260500022202100029  ...  LENÇO DESCARTÁVEL, MATERIAL POLIPROPILENO E CE...
39  1551260500022202100031  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
40  1551260500022202100001  ...  PELÍCULA ADESIVA, MATERIAL ADESIVO ACRÍLICO HI...
41  1551260500022202100002  ...  PLACA PERIOSTOMAL, MATERIAL DA PLACA HIDROCOLÓ...
42  1551260500022202100061  ...  POLIHEXANIDA, COMPOSIÇÃO ASSOCIADA À UNDECILAM...
43  1551260500022202100021  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
44  1551260500022202100033  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
45  1551260500022202100032  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
46  1551260500022202100055  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM PÓ, COMPOS...
47  1551260500022202100028  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO PLACA, MATERI...
48  1551260500022202100060  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM CREME, COM...
49  1551260500022202100054  ...  PROTETOR CUTÂNEO, ASPECTO FÍSICO EM SPRAY, COM...
50  1551260500022202100050  ...  SOLUÇÃO, TIPO À BASE DE BIGUANIDA (PHMB), CONC...
51  1551260500022202100027  ...  TERAPIA DE PRESSÃO NEGATIVA P/ FERIDAS, TIPO C...
52  1551260500022202100030  ...  ÁCIDOS GRAXOS ESSENCIAIS, COMPOSIÇÃO TCM, COMP...

[53 rows x 10 columns]

没有负载：

import requests
import pandas as pd

url = 'https://www.portaltransparencia.gov.br/licitacoes/item-licitacao/resultado?paginacaoSimples=false&tamanhoPagina=1000&offset=0&direcaoOrdenacao=asc&colunaOrdenacao=descricao&colunasSelecionadas=codigoItemCompra%2Cdescricao%2CdescComplementarItemCompra%2Cquantidade%2Cvalor%2CcpfCnpjVencedor%2Cnome&skCompra=205900728&_=1633967219449'

jsonData = requests.get(url, headers=headers, params=payload, verify=False).json()
df = pd.DataFrame(jsonData['data'])