RETRY_ENABLED = True #打开重试开关
RETRY_TIMES = 3 #重试次数
DOWNLOAD_TIMEOUT = 3 #超时
RETRY_HTTP_CODES = [429,404,403] #重试
HTTPERROR_ALLOWED_CODES = [429] #上面报的是403，就把403加入。
yield scrapy.Request(url=url, cookies=self.cookies, callback=self.parse, dont_filter=True) #去掉过滤重复的设置（如果有重复的url请求，scrapy就会过滤掉这个请求，把这个设置打开就行了）