AttributeError：“响应”对象没有属性“txt” - Python Web Scraping

Question

我正在开发一个新项目，以摆脱我能做的最基本的事情，我决定研究网络抓取。 我的想法是使用SteamStatus 检查 Steam 的当前状态并让我的脚本打印出来。对于第一个，我使用 Steam 商店的状态，我编写了以下代码：

import requests
import bs4

res = requests.get('https://www.steamstatus.io/')
res.raise_for_status

SteamStatus = bs4.BeautifulSoup(res.txt, 'html.parser')
type(SteamStatus)

storeStatus = SteamStatus.select('#statustables > div.statustable.left > div > div:nth-child(1) > div.statusrow_status.store-status')
print(str(storeStatus))

这样，我收到以下错误：

Traceback (most recent call last):
  File "C:/Users/a864/PycharmProjects/automation/steam status/webpage.py", line 8, in <module>
    SteamStatus = bs4.BeautifulSoup(res.txt, 'html.parser')
AttributeError: 'Response' object has no attribute 'txt'

根据我的搜索和发现，这将是请求模块的过时版本的问题，但我已经确保我拥有最新版本 (2.24.0)

Answer 1

欢迎来到 SO！

如前面的答案中所述，错误与使用错误的属性 .txt 有关 - 尽管 .text 是正确的。

最后一点，您尝试抓取的页面是用 javascript 加载的，因此 requests 不是您要查找的包。使用selenium webdriver 的粗略解决方案见下文

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Firefox() # initialize the driver

driver.get('https://www.steamstatus.io/') # go to the page

source = driver.page_source # extract the source

SteamPage = BeautifulSoup(source, 'html.parser')

SteamStatus = SteamPage.findAll('div', {'class' : 'statusrow'})
for s in SteamStatus:
    print(s.findNext('div', {'class' : 'statusrow_name'}).text) # print the row name
    print(s.findNext('div', {'class' : 'statusrow_status'}).text) # and the uploaded value

Answer 2

正如异常告诉你的那样，你试图引用一个不存在的属性。 Response 公开了 .text 属性，而不是 .txt 属性。