如何阻止重复链接被解析？

Question

我已经在 python 中编写了一些脚本来抓取该网页中可用的下一页链接，该网页目前运行良好。这个刮刀的唯一问题是它不能摆脱重复的链接。希望有人能帮我完成这个。我试过了：

import requests
from lxml import html

page_link = "https://yts.ag/browse-movies"

def nextpage_links(main_link):
    response = requests.get(main_link).text
    tree = html.fromstring(response)
    for item in tree.cssselect('ul.tsc_pagination a'):
        if "page" in item.attrib["href"]:
            print(item.attrib["href"])

nextpage_links(page_link)

这是我得到的部分图像：

Answer 1

你可以使用 set 来达到目的：

import requests
from lxml import html

page_link = "https://yts.ag/browse-movies"

def nextpage_links(main_link):
    links = set()
    response = requests.get(main_link).text
    tree = html.fromstring(response)
    for item in tree.cssselect('ul.tsc_pagination a'):
        if "page" in item.attrib["href"]:
            links.add(item.attrib["href"])

    return links

nextpage_links(page_link)

您也可以使用scrapy，默认情况下会限制重复。