在 Web_Scrapping 列表返回空列表答案

【问题标题】：In Web_Scrapping the list is returning empty list在 Web_Scrapping 列表返回空列表
【发布时间】：2020-05-10 05:51:06
【问题描述】：

import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np

url = "https://www.covid19india.org/"
headers = {"Accept-Language":"en-US, en;q=0.5"}
results = requests.get(url,headers = headers)
soup = BeautifulSoup(results.text,"html.parser")
cases_div = soup.find_all('div', class_="Level1")
print(cases_div)

我的预期输出： [html]

但是，我得到一个空列表 [] 在打印 case_div 时。

为什么会这样，我该如何解决？

【问题讨论】：

这是正常的：这个网站/请求只提供脚本。你应该尝试像邮递员这样的软件来尝试各种请求

标签： python web-scraping webscarab web-scraping-language

【解决方案1】：

似乎指定的网站使用了 React，并且在第一次 HTTP 请求时您不会获得全部内容。尝试使用 selenium 或尝试按照评论中的建议查找对服务器的 API 请求。

【讨论】：

汤 = BeautifulSoup(results.text,"html.parser")。 print(soup.prettify())====>但是我在这里得到了 html 输出。你不认为我不应该得到这个输出吗。
是的，您当然会得到 HTML，但如果您将返回的 HTML 与任何浏览器的开发人员工具上的 HTML 进行检查，情况就会有所不同。在第一个请求反应是加载之后，其他数据由 ajax 请求加载。