如何使用 BeautifulSoup4 在亚马逊打开链接？

Question

问题：“linkElems”列表似乎是空的

怀疑是什么导致了问题：我认为我告诉它抓取的标签是错误的

程序功能：

• 在 Amazon.com 中搜索命令行中的参数并下载 网站进入变量“res”
• 选择链接的 URL 搜索结果并将它们存储到名为“linkElems”的列表中
• 为前 5 个结果打开新的浏览器标签

上下文：我已经完成了 Automate the Boring stuff 的第 11 章，并使用了第一个项目中的相同代码，只是我稍微调整了一下以搜索 Amazon 搜索结果而不是 google .

我尝试过哪些标签：

• 'a'
• 'h2.一个'
• 'a.a-link-normal a-text-normal'
• '.h2 a'

#! python3
#Shop on Amazon - searchs amazon and opens the first 5 top results

import sys,requests,bs4,webbrowser,logging

print ('Searching')

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'
}

res = requests.get('https://www.amazon.com/s?k=' + ''.join(sys.argv[1:]))
res.raise_for_status

soup = bs4.BeautifulSoup(res.text,features = 'html.parser')

linkElems = soup.select('a.a-link-normal a-text-normal')
numOpen = min(5, len(linkElems))
for i in range(numOpen):
    webbrowser.open('https://amazon.com' + linkElems[i].get('href'))

H我尝试使用标签抓取的链接的 TML 示例：

Sample HTML That I'm searching

Example of me running the program and its output

Answer 1

您的问题是您的 css 选择器'a.a-link-normal a-text-normal'。这将在 a 标签内查找 a-text-normal 标签，类为 a-link-normal。

a-link-normal 和a-text-normal 是相关a 标记的both 类。您可以通过像这样链接它们在 css 选择器中表达这一点：'a.a-link-normal.a-text-normal'。这表示您正在寻找一个a 标签，它同时具有a-link-normal 和 a-text-normal 类。

例如，此脚本将在亚马逊搜索您的命令行输入，收集所有链接 (links = soup.select('a.a-link-normal.a-text-normal'))，然后为找到的每个链接打印出 href 属性。在这一点上，我只能说，它可以在我的机器上运行。

from bs4 import BeautifulSoup
import requests
from sys import argv


r = requests.get("https://www.amazon.com/s?k=" + '+'.join(argv[1:]))
r.raise_for_status()

soup = BeautifulSoup(r.content, 'html.parser')
links = soup.select('a.a-link-normal.a-text-normal')

for tag in links:
    print(tag.attrs['href'])