网页抓取在href链接之后获取每个字符串

Question

我正在尝试使用 beautifulsoup 在 rottentomatoes 的文章中抓取电影标题。但是，电影标题位于每部电影页面的 href 链接之后。这是我想要得到的：

<a href="https://www.rottentomatoes.com/m/the_shape_of_water_2017/">The Shape of Water</a> 我只想获取文本“水的形状”我可以获取此文本，但这仅适用于一部电影。我想对同一页面上的所有电影执行此操作，并且每部电影，链接的最后一部分都会更改。谁能告诉我该怎么做，我是网络抓取的初学者？

Answer 1

html_doc = """<a href="https://www.rottentomatoes.com/m/the_shape_of_water_2017/">The Shape of Water</a>"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

for x in soup:
    print(x.text) # The Shape of Water

在beautifulsoap中，当你想获取标签的文本时，只需将text与标签一起使用