抓取网站为链接返回不同的href

Question

在python 中，我使用requests 模块和BS4 来通过duckduckgo.com 搜索网络。我手动转到http://duckduckgo.com/html/?q='hello'，并使用开发工具获得了第一个结果标题为<a class="result__a" href="http://example.com">。现在我使用以下代码通过 Python 获取 href：

html = requests.get('http://duckduckgo.com/html/?q=hello').content
soup = BeautifulSoup4(html, 'html.parser')
result = soup.find('a', class_='result__a')['href']

但是，href 看起来像乱码，与我手动看到的完全不同。知道为什么会这样吗？

Answer 1

有多个类名为“result__a”的 DOM 元素。所以，不要指望你看到的第一个链接是你得到的第一个链接。

您提到的“乱码”是一个编码的 URL。您需要对其进行解码和解析以获取 URL 的参数（params）。

例如： "/l/?kh=-1&uddg=https%3A%2F%2Fwww.example.com"

上面的href包含两个参数，分别是kh和uddg。 我想 uddg 是您需要的实际链接。

以下代码将获取该特定类的所有 URL，未加引号。

import requests
from bs4 import BeautifulSoup
from urllib.parse import urlparse, parse_qs, unquote
html = requests.get('http://duckduckgo.com/html/?q=hello').content
soup = BeautifulSoup(html, 'html.parser')
for anchor in soup.find_all('a', attrs={'class':'result__a'}):
  link = anchor.get('href')
  url_obj = urlparse(link)
  parsed_url = parse_qs(url_obj.query).get('uddg', '')
  if parsed_url:
    print(unquote(parsed_url[0]))