使用 python scrapy 进行动态 url 抓取

Question

使用 python scrapy 我可以抓取单个静态网址，但如何抓取动态网址？ 喜欢https://www.britannica.com/place/Mumbai，https://www.britannica.com/place/Pune 一样明智。

单个静态页面的工作代码

import scrapy 
class GetTestSpider(scrapy.Spider):
    name = "testspeder"
    start_urls = ["https://www.britannica.com/place/Mumbai"]

    def parse(self,response):
    """Function to process search results page"""
    for site in response.xpath("//div[@class='infinite-pagination-container container']"):
        item = {
            'city': site.xpath(".//h1/text()").extract_first(default='').strip(),
            'writtenby': site.xpath(".//div[@class='md-byline']/div[@class='written-by']/span/text()").extract_first(default='').strip(),
            'alternativename': site.xpath(".//div[@class='md-alternate-titles']/text()").extract_first(default='').strip(),
        }
        yield item   

Answer 1

您可以在 parse 函数中生成请求。

然后这个请求将由另一个处理，例如：

<your parse()>
...
if item["url_addres"]:
    yield Request(
        url=item["url_addres"], 
        callback=self.your_func_for_parsing, 
        meta={
            'item': item, 
            'dont_redirect': True,
            'handle_httpstatus_list': [302]
            }
    )

def your_func_for_parsing(self, response):
    item = response.meta['item']
    ...
    <do the job>