BS4 find_all 与 Genius Lyrics 中的 mini_card-title 类不匹配

Question

我正在尝试从天才歌词的歌曲搜索中获取歌曲的标题，但是，使用 .find_all("div", class_="mini_card-title") 尝试获取歌曲的名称并没有工作，但 .find_all("div" class_="header") 确实有效！

这只是我正在处理的一个小项目，在 Visual Studio 2019 上运行，使用 python 3.7。我正在使用 2 个模块：请求和 bs4。我曾尝试更改解析器，将 find_all 更改为查找和选择，但是这些都没有帮助。

不起作用的代码：

soup = bs4.BeautifulSoup(res.text, "html.parser")
a = soup.find_all("div", class_="mini_card-title")
print(a)

有效的代码：

soup = bs4.BeautifulSoup(res.text, "html.parser")
a = soup.find_all("div", class_="header")
print(a)

我希望得到歌曲的名字，即使得到页面上所有歌曲的名字也可以，但是目前我只得到一个空白列表。

Answer 1

您可以使用页面用来动态获取结果的 API 来获取所有信息。我展示了打印出一些标题，但探索 json 响应以查看您想要的内容。

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://genius.com/api/search/multi?per_page=5&q=something').json()
for item in r['response']['sections']:
    for subitem in item['hits']:
        if 'title' in subitem['result']:
            print(subitem['result']['title'])