需要使用 python(selenium) 抓取通过 ajax 加载的表

Question

我有一个 page 有一个表（表 id= "ctl00_ContentPlaceHolder_ctl00_ctl00_GV" class="GridListings" ）我需要刮。 我通常使用 BeautifulSoup 和 urllib，但在这种情况下，问题是表需要一些时间来加载，所以当我尝试使用 BS 获取它时它没有被捕获。 由于某些安装问题，我无法使用 PyQt4、drysracpe 或 windmill，所以唯一可能的方法是使用 Selenium/PhantomJS 我尝试了以下方法，仍然没有成功：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.PhantomJS()
driver.get(url)
wait = WebDriverWait(driver, 10)
table = wait.until(EC.presence_of_element_located(By.CSS_SELECTOR, 'table#ctl00_ContentPlaceHolder_ctl00_ctl00_GV'))

上面的代码没有给我想要的表格内容。 我该如何实现这一目标？？？

Answer 1

您可以使用 requests 和 bs4, 获取数据，几乎所有的 asp 网站都有一些 post 参数需要提供，例如 __EVENTTARGET、__EVENTVALIDATION 等等……：

from bs4 import BeautifulSoup
import requests

data = {"__EVENTTARGET": "ctl00$ContentPlaceHolder$ctl00$ctl00$RadAjaxPanel_GV",
    "__EVENTARGUMENT": "LISTINGS;0",
    "ctl00$ContentPlaceHolder$ctl00$ctl00$ctl00$hdnProductID": "139",
    "ctl00$ContentPlaceHolder$ctl00$ctl00$hdnProductID": "139",
    "ctl00$ContentPlaceHolder$ctl00$ctl00$drpSortField": "Listing Number",
    "ctl00$ContentPlaceHolder$ctl00$ctl00$drpSortDirection": "A-Z, Low-High",
    "__ASYNCPOST": "true"}

对于实际的帖子，我们需要在帖子数据中添加更多值：

post = "https://seahawks.strmarketplace.com/Charter-Seat-Licenses/Charter-Seat-Licenses.aspx"
with requests.Session() as s:
    s.headers.update({"User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:47.0) Gecko/20100101 Firefox/47.0"})
    soup = BeautifulSoup(s.get(post).content)

    data["__VIEWSTATEGENERATOR"] = soup.select_one("#__VIEWSTATEGENERATOR")["value"]
    data["__EVENTVALIDATION"] = soup.select_one("#__EVENTVALIDATION")["value"]
    data["__VIEWSTATE"] = soup.select_one("#__VIEWSTATE")["value"]

    r = s.post(post, data=data)
    soup2 = BeautifulSoup(r.content)
    table = soup2.select_one("div.GridListings")
    print(table)

您将在运行代码时看到打印的表格。

Answer 2

如果你想废弃一些东西，最好先安装一个网络调试器（例如Firebug 用于Mozilla Firefox）来观察你想废弃的网站是如何工作的。

接下来，您需要复制网站如何连接到后台的过程

如您所说，您要废弃的内容正在异步加载（仅在文档准备好时）

假设调试器正在运行并且您已刷新页面，您将在网络选项卡上看到以下请求：

发布https://seahawks.strmarketplace.com/Charter-Seat-Licenses/Charter-Seat-Licenses.aspx

实现目标的最终流程将是：

• 1/ 使用requests python module
• 2/ 打开到索引页面网站的请求会话（使用 cookie 处理）
• 3/ 废弃特定 POST 表单请求的所有输入
• 4/ 构建一个 POST 参数 DICT，其中包含上一步中废弃的所有输入和值字段 + 添加一些特定的固定参数。
• 5/ POST 请求（带有所需数据）
• 6/finally 使用BS4 module（像往常一样）为已回答的 html 提供汤汁以报废您的数据

请看下面的工作代码：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

from bs4 import BeautifulSoup
import requests

base_url="https://seahawks.strmarketplace.com/Charter-Seat-Licenses/Charter-Seat-Licenses.aspx"

#create requests session
s = requests.session()

#get index page
r=s.get(base_url)

#soup page
bs=BeautifulSoup(r.text)

#extract FORM html
form_soup= bs.find('form',{'name':'aspnetForm'})

#extracting all inputs
input_div = form_soup.findAll("input")

#build the data parameters for POST request
#we add some required <fixed> data parameters for post
data={
    '__EVENTARGUMENT':'LISTINGS;0',
    '__EVENTTARGET':'ctl00$ContentPlaceHolder$ctl00$ctl00$RadAjaxPanel_GV',
    '__EVENTVALIDATION':'/wEWGwKis6fzCQLDnJnSDwLq4+CbDwK9jryHBQLrmcucCgL56enHAwLRrPHhCgKDk6P+CwL1/aWtDQLm0q+gCALRvI2QDAKch7HjBAKWqJHWBAKil5XsDQK58IbPAwLO3dKwCwL6uJOtBgLYnd3qBgKyp7zmBAKQyTBQK9qYAXAoieq54JAuG/rDkC1djKyQMC1qnUtgoC0OjaygUCv4b7sAhfkEODRvsa3noPfz2kMsxhAwlX3Q=='
}
#we add some <dynamic> data parameters
for input_d in input_div:
    try:
        data[ input_d['name'] ] =input_d['value'] 
    except:
        pass #skip unused input field

#post request
r2=s.post(base_url,data=data)

#write the result
with open("post_result.html","w") as f:
    f.write(r2.text.encode('utf8'))

现在，请查看“post_result.html”内容，您会发现数据！

问候