Python：我正在尝试网页抓取页面，但我无法找到 html

Question

我正在尝试抓取此页面 (https://www.polarislist.com/) 我正在尝试提取所有数据，例如班级规模、免费/减少午餐/学生/助教比例、按种族划分的学生人口统计百分比，以及普林斯顿大学承认的麻省理工学院、哈佛大学的相应人数。

但是，当我查看并检查页面源时，我无法找到包含此类信息的标签

我正在使用 Python 3.7，Bs4 我已经检查了页面来源

到目前为止我有什么：

#importing lbiraries
import requests
import bs4
from bs4 import BeautifulSoup

page_link = 'https://www.polarislist.com'
page_response = requests.get(page_link, timeout=5)

page_content = BeautifulSoup(page_response.content, "html.parser")
result_name_of_hs = page_content.find_all('div', attrs={'data-test': 'name'})
print(result_name_of_hs)

***输出为[]

我希望 BS4 能够获取已识别的标签并将其从站点中提取出来。但是，当我在 Inspect Page 元素中时，我找不到任何东西，

我在检查元素时看到了这一点，但无法获取 div 数据测试名称

<div class="font-size-20 font-weight-semi-bold block-with-text" data-test="name">THOMAS JEFFERSON HIGH SCHOOL</div>

Answer 1

您看到的数据是由页面异步加载的。当您打开 Firefox/Chrome 开发者工具时，您会看到数据来自不同的 URL（在本例中为 https://www.polarislist.com/api/high_schools_orange_cake）。

要从 JSON 加载数据，您可以使用：

import json
import requests

url = 'https://www.polarislist.com/api/high_schools_orange_cake'

data = requests.get(url).json()

print(json.dumps(data, indent=4))

打印：

[
    {
        "id": 18450,
        "name": "THOMAS JEFFERSON HIGH SCHOOL",
        "city": "ALEXANDRIA",
        "state": "VA",
        "public": true,
        "num_senior": 423,
        "num_american_indian": 39,
        "num_asian": 1084,
        "num_hispanic": 34,
        "num_black": 24,
        "num_white": 530,
        "student_teacher_ratio": "16.93",
        "num_free_reduced_lunch": 33,
        "total_students": 1820,

    ... and so on.