为什么我不能从动态网页中抓取表格

Question

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
page = requests.get(url)
soup = BeautifulSoup(page.text,'lxml')

print(soup)



data = []
table = soup.find('table', {'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])

这是网页：https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp 我想为某个特定位置的大学项目搜索所有酒店（例如瓦尔纳 - 该位置使用西里尔语）。我找到了源代码并描述了确切的表格 - 但我无法从其中刮取任何行/元素等。 请问有什么推荐吗！？ 虽然目前有很多信息我没有找到有用的代码来刮表

Answer 1

数据来自 Ajax 请求，因此您只需执行 ajax 请求，不必渲染页面，这样更快。

例如这是页面 20 行中的前 4 列：

import requests

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/api/data/collections/name/vRegistarMNValid?sortcolumn=CNumber&sortorder=ascending&ps=20&page=0&_=1624898715559"
rows = requests.get(url).json() # list of the 20 rows, rows are dict.

# Uncomment to see all the columns title.
# print(rows[0].keys())

for row in rows:
    print(row["CNumber"], row["TOSubType1"], row["TOName"], row["TOCity"])

输出：

0000000012 Семеен хотел Семеен хотел "ХЕЛГА" Горна Митрополия
00001 Къща за гости "ЛИДИЯ" Батак
00001 Стаи за гости самостоятелни стаи к-с "Барите" Чернево
00001 Стаи за гости СТАИ ЗА ГОСТИ "ГОРХИМ" Рила
00001 Стаи за гости СТАИ ЗА ГОСТИ Брестовица
00001 Къща за гости Къща за гости - ловен и селски туризъм Хърсово
00001 Хотел Иглен Ъглен
00001 Къща за гости РЕЛАКС/RELAX/ Батак
00001 Къща за гости  Батак
00001 Къща за гости ВИЛИ-ПЕТЯ № 1 Батак
00001 Къща за гости "Форест Лодж" Банско
00001 Къща за гости "ОМД" ООД Земен
00001 Стаи за гости Дунавска перла Попина
00001 Къща за гости КЪЩА ЗА ГОСТИ "БЛАГОВЕСТА" Илинденци
00001 Стаи за гости Георгиевата къща Генерал Кантарджиево
00001 Къща за гости "Дунковата къща" Падала
000011 Къща за гости Гостилица Гостилица
00002 Стаи за гости Стаи за гости Загражден
00002 Апартаменти за гости апартамент за гости №15 в жилищна сграда ,Мърфис Лодж" Банско
00002 Къща за гости ВИЛИ-ПЕТЯ № 2 Батак

Answer 2

您可以使用selenium（python库）从动态生成数据的网页中抓取数据，您可以从here下载chrome驱动

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec

options.add_argument('--headless')
driver = webdriver.Chrome("path/to/chromedriver", options=options)

url = "https://ntr.tourism.government.bg/CategoryzationAll.nsf/mn.xsp"
driver.get(url)

table_confirm = WebDriverWait(driver, 20).until(
  ec.presence_of_element_located((By.ID, "mnastaniavane"))
)
page_source = driver.page_source
soup = BeautifulSoup(page_source,'lxml')

print(soup)



data = []
table = soup.find('table', {'class':'table table-striped table-hover mnastaniavane dataTable no-footer'})
table_body = table.find('tbody')
rows = table_body.find_all('tr')
for row in rows:
    cols = row.find_all('td')
    cols = [ele.text.strip() for ele in cols]
    data.append([ele for ele in cols if ele])