Scrapy：用一只蜘蛛从 200 个不同的域中抓取 200 个不同的 URL

Question

我需要为一个项目爬取 200 个不同的网站，我想先启动一次爬虫，然后它会在接下来的几个小时内自行运行。 URL 将位于 txt 或 csv 文件中。 到目前为止，我有两种略有不同的方法。 第一次尝试：

class MySpider(CrawlSpider):

name = 'spiderName'

read_urls = open('../../urls.txt', 'r')
for url in read_urls.readlines():
    url = url.strip() 
    allowed_domains = [url[4:]]
    start_urls = ['http://' + url]

read_urls.close()

rules = (Rule(LinkExtractor(allow = ('', )), callback = 'parse_stuff', follow = True),)

def parse_stuff(self, response):
    hxs = Selector(response)
    sites = hxs.xpath('//html')
    items_main = []

    for site in sites:
        loader = ItemLoader(item = Items_Main(), response = response)
        loader.add_xpath('a_title', '//head/title/text()')
        ...
        items_main.append(loader.load_item())
        return items_main

这里它只获取 txt 文件中的最后一个 URL，但它可以正常工作，我可以限制 allowed_domains。

在 Stackoverflow 上找到的第二次尝试基本相同，除了 start_urls = [url.strip() for url in read_urls.readlines()] 给我以下错误 raise ValueError('Missing scheme in request url: %s' % self._url)。

Answer 1

您覆盖了 for 循环中的列表。

在循环之前初始化列表并在循环内追加。

allowed_domains = []
start_urls = []
for url in read_urls.readlines():
    url = url.strip() 
    allowed_domains = allowed_domains + [url[4:]]
    start_urls = start_urls + ['http://' + url]