抓取使用 AJAX Post 填充数据的网站

Question

我想知道是否有可能使用beautifulsoup 来抓取一个基于 ajax 调用加载表格的网站。

下面是我用来访问包含表格的 div 的 python 代码

table = bs.find(lambda tag: tag.name=='div' and tag.has_key('id') and tag['id']=="id+name")

执行该操作时，我得到一个空 div <div id="id+name"></div>

java script/ajax 函数长这样

function getTable(){
    $.ajax({
        type: "POST",
        url: "<some processing file .asmx>",
        contentType: "application/json; charset=utf-8",
        dataType:"json",
        success: function(msg){
            $('#table+id').html(msg.d);
        }
    });

我想我会变得空白，因为它试图在处理页面之前抓取表格。这是美汤能搞定的东西吗？

Answer 1

BeautifulSoup 只是一个 HTML 解析器。您需要一些东西来执行该 javascript 调用和/或发出 POST 请求。

基本上，您有两种选择：

• 使用使用真实浏览器的工具，例如selenium。这样，您就可以让浏览器为您完成加载页面和执行 javascript 的所有工作。您可以使用find_element_by_id() 来访问元素。

• 使用urllib2 或requests 发出POST 请求并解析结果。根据您提供的 javascript 代码 - 响应采用 JSON 格式，其中包含内部表格的 HTML 代码：

  import json
  
  from bs4 import BeautifulSoup
  import requests
  
  URL = "<some processing file .asmx>"
  response = requests.post(URL)
  data = json.loads(response.content)
  
  div = BeautifulSoup(data['d'])
  

UPD（获取表格的实际工作代码）：

import json
from bs4 import BeautifulSoup

import requests


URL = 'http://www.ise.com/MarketDataService.asmx/ISE_Get_IntraDay_Summary'
response = requests.post(URL, headers={'Content-Type': 'application/json; charset=utf-8'})
data = json.loads(response.content)

soup = BeautifulSoup(data['d'])
for row in soup('tr'):
    print " | ".join(cell.text for cell in row('td'))

打印：

All Securities  | All Equities Only | All Indices & ETF Only
16:15 | 244,754 | 258,519 | 503,273 | 95 | 192,025 | 85,778 | 277,803 | 224 | 52,726 | 172,741 | 225,467 | 31
16:10 | 244,473 | 260,881 | 505,354 | 94 | 192,025 | 85,778 | 277,803 | 224 | 52,445 | 175,103 | 227,548 | 30
15:50 | 232,697 | 227,149 | 459,846 | 102 | 182,351 | 81,672 | 264,023 | 223 | 50,343 | 145,477 | 195,820 | 35 
...