Web Scraping：如何获取课程

Question

我想在运行程序时获取班级的信息输出为“无”

import requests
import bs4
import lxml

res =requests.get('https://www.reddit.com/r/Python/')

soup = bs4.BeautifulSoup(res.text,'lxml')
link = 'https://www.reddit.com/r/Python/'

div = soup.find('div', {"_1lwNBHmCQJObvqs1fXKSYR" : link}) #This is the class of the New title kinda thing
text = div
print(text)

我得到的输出是

None

我该怎么办？ 感谢您的帮助！

Answer 1

您必须传递一个dictionary，key 是属性名称，value 是属性值。这就是你的做法：

div = soup.find('div', {"class":"_1lwNBHmCQJObvqs1fXKSYR"}) #Finds the div with class "_1lwNBHmCQJObvqs1fXKSYR"
text = div.text #Identifies text of the div tag
print(text)

输出：

hot

除了传递dictionary，您还可以将它们作为单独的参数传递，如下所示：

div = soup.find('div', class_ = "_1lwNBHmCQJObvqs1fXKSYR") #An "_" is used after class because class is a keyword in python
text = div.text #Identifies text of the div tag
print(text)

输出：

hot

如果要查找具有相同类的所有元素的文本，请使用find_all 方法。这就是你的做法：

divs = soup.find_all('div', {'class':"_1lwNBHmCQJObvqs1fXKSYR"})

for div in divs:
    print(div.text)

输出：

hot
new
top