无法在 .select() 方法中使用多个属性

Question

我在 python 中编写了一个脚本来获取网站上不同帖子的不同链接。如果我选择像a[href^='/questions/'] 或.question-hyperlink 这样的任何单个属性，我可以获得所需的输出。

我的问题是：我如何在.select() 方法中使用来自同一节点的两个属性，就像我在下面尝试过的那样？

到目前为止我的尝试（没有结果；也没有错误）：

import requests
from bs4 import BeautifulSoup

link = "https://stackoverflow.com/questions/tagged/web-scraping"

res = requests.get(link)
soup = BeautifulSoup(res.text,'lxml')
for item in soup.select("a[href^='/questions/'].question-hyperlink"):
    print(item.get("href"))

Answer 1

实际上，您的代码运行良好。我得到了你的预期结果。我只需要 pip install lxml 和 BeautifulSoup4 来运行它。

/questions/54035304/unable-to-use-multiple-attributes-within-select-method
/questions/54035268/div-returns-empty-while-scraping-price-using-beautifulsoup-everything-else-lik
/questions/54035199/scrapy-restart-scrapoxy-instances
/questions/54034484/how-i-can-read-multiple-web-addresses-with-sign-in-address-that-block-dynami

附：您需要使用最新的lxml 和bs4 版本。所以你可能需要执行

• pip3 install lxml --upgrade
• pip3 install beautifulsoup4 --upgrade