使用 selenium 提取 WebTable

Question

我想从https://nepsealpha.com/ 中提取一个包含许多表的特定表。显示所需表格的图片。使用以下代码更改表索引不显示所需的表。索引可以从 0 更改为 12，但未显示所需的表。帮我。 Required Table Image

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from time import sleep
from bs4 import BeautifulSoup
import pandas as pd

options = Options()
options.add_argument('--allow-running-insecure-content')
options.add_argument('--ignore-certificate-errors')
options.add_argument("--headless")
options.add_argument("--disable-extensions")
options.add_argument("--disable-gpu")
driver = webdriver.Chrome(executable_path=r"C:/Users/Personal/WebDriver/chromedriver.exe", options=options)
accept_untrusted_certs = True

driver.get('https://nepsealpha.com/')
sleep(5)
soup=BeautifulSoup(driver.page_source,'lxml')
table = soup.find_all('table')[0]
df = pd.read_html(str(table),header=0)
print(df)

Answer 1

通过唯一的 id 选择表

table  = soup.find(id="articlebody")
rows = table.tbody.findAll("tr")
for row in rows:
    cells = row.findAll("td")
    print cells

Answer 2

你需要的表格是通过JS加载的。我们需要滚动页面以执行 js，所以这对我有用：-

driver.get('https://nepsealpha.com/')
driver.execute_script("window.scrollTo(0, 1000);")
sleep(5)
soup=BeautifulSoup(driver.page_source,'html5')

df = pd.read_html(str(soup))
df_required = df[1]