如何在 Scrapy 中使用 PROXY_LIST 和密码？答案

【问题标题】：How to use PROXY_LIST with password in Scrapy?如何在 Scrapy 中使用 PROXY_LIST 和密码？
【发布时间】：2017-10-04 14:08:41
【问题描述】：

我需要使用不同的代理以避免被禁止。

我读过this question 和this one

我把我的代理放在proxylist.txt

http://xx.xx.xxx.xxx:port
http://xxx.xxx.xx.xxx:port
http://xx.xx.xxx.xxx:port
http://xxx.xxx.xx.xxx:port

我在 custom_settings

中设置它

class MyClass(scrapy.Spider):
    reload(sys)
    sys.setdefaultencoding('utf8')
    start_time = time.time()
    name = 'mySpider'
    custom_settings = {
        'ROBOTSTXT_OBEY'    : 'False',
        'RETRY_TIMES'       : 10,
        'PROXY_LIST'        : 'proxylist.txt',
        'PROXY_MODE'        : 0,
        'DOWNLOADER_MIDDLEWARES' : {
            'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90,
            'scrapy_proxies.RandomProxy': 100,
            'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
            'scrapy_crawlera.CrawleraMiddleware': 600,
            'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
            'random_useragent.RandomUserAgentMiddleware': 400
        },
    }

当我的代理没有密码时，这个版本工作

现在我有了每个代理的密码，我该如何更改它以便使用密码工作？

【问题讨论】：

标签： proxy scrapy

【解决方案1】：

我回答我自己的问题。

我使用它并且它有效：

http://USERNAME:PASSWORD@PROXYIP:PROXYPORT

【讨论】：