美丽的汤文字返回空白

【问题标题】：Beautiful soup text returns blank美丽的汤文字返回空白
【发布时间】：2021-06-20 16:46:41
【问题描述】：

我正在尝试抓取一个网站，但它返回空白，您能帮忙吗？我错过了什么？

import requests
from bs4 import BeautifulSoup

URL = 'https://ks.wjx.top/jq/50921280.aspx'
page = requests.get(URL)

soup = BeautifulSoup(page.content, 'html.parser')
print(soup.text)

【问题讨论】：

对我来说工作正常，打印一些 javascript 代码。尝试检查page.status_code，是否为200。

标签： python beautifulsoup

【解决方案1】：

要获得响应，请将User-Agent 标头添加到requests.get()，否则，网站会认为您是机器人，并将阻止您。

import requests
from bs4 import BeautifulSoup

URL = "https://ks.wjx.top/jq/50921280.aspx"

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"
}
page = requests.get(URL, headers=headers)

soup = BeautifulSoup(page.content, "html.parser")
print(soup.prettify())

【讨论】：