如何使用 Socks5 代理 scrapy 请求？

Question

问题：

如何用socks5代理scrapy请求？

我知道我可以使用polipo 到convert Socks Proxy To Http Proxy

但是：

我想设置一个中间件或者scrapy.Request中的一些改动

import scrapy

class BaseSpider(scrapy.Spider):
    """a base class that implements major functionality for crawling application"""
    start_urls = ('https://google.com')

    def start_requests(self):

        proxies = {
            'http': 'socks5://127.0.0.1:1080',
            'https': 'socks5://127.0.0.1:1080'
        }

        for url in self.start_urls:
            yield scrapy.Request(
                url=url,
                callback=self.parse,
                meta={'proxy': proxies} # proxy should be string not dict
            )

    def parse(self, response):
        # do ...
        pass

我应该为proxies 变量分配什么？

Answer 1

看看，如果有帮助https://github.com/gregoriomomm/docker-multsocks..。

它提供了一种方式（与 Docker 一样多平台）连接到 HTTP PROXY 标准协议以访问具有高级路由配置的 SOCKS5 服务器，并非所有软件都免费提供，例如在 Windows 中，您可以在本地配置一个 simples HTTP 代理（见底部配置）。

它也可以在这种情况下使用，对于许多应用程序，例如一些可以连接到 SOCKS 但无法正确传递用户和密码来验证 SOCKS 连接的旧 java 实现，因此它可以充当 SOCKS 而无需身份验证链接到经过身份验证的。

它基于常见的 linux 命令，也可以在 Windows 10 中重现，方法是在带有 Windows Subsystem Linux (WSL) 的 shell 上使用相同的命令。

在 Ubuntu 中你可以直接安装它

sudo apt install tsocks nmap

# Once you have a tsocks installed and configured 
echo "Starting http proxy!!!"
tsocks ncat -l --proxy-type http localhost 3128 & 

/etc/tsocks.conf 文件示例（将变量替换为 "v" ）：

local = 9.0.0.0/255.0.0.0
local = 129.39.186.192/255.255.255.192

path {
reaches = 10.0.0.0/255.0.0.0
reaches = 158.98.181.232/255.255.255.248
reaches = 192.168.0.0/255.255.0.0
server = vSOCKS_HOST
server_port = vSOCKS_PORT
server_type = 5
default_user = vSOCKS_USERNAME
default_pass = vSOCKS_PASSWORD
fallback = yes
}

如果你想尝试docker版本，只需更改路径/tsocks.conf 到您的版本，它将加载一个 HTTP SOCKS 和 SOCKS5 未经身份验证的路由到您的 SOCKS5 最终目标服务器（还有其他选项）

docker run -v path/tsocks.conf:/etc/tsocks.conf -p 3128:3128 -p 1080:1080  gregoriomomm/multsocks:latest 

在https://github.com/gregoriomomm/tsocks 中有一个版本的 tsocks (http://tsocks.sourceforge.net/) 以启用 tsocks（透明 SOCKS5 代理库），只需稍作调整即可使用 Alpine:3.11 工作和编译，并包含来自 Ubuntu 的相同后备选项。

Answer 2

有可能。

到 Socks5 的 HTTP 代理

安装python-proxy

$ pip3 install pproxy

运行

$ pproxy -l http://:8181 -r socks5://127.0.0.1:9150 -vv

使用 HTTP 代理进行抓取

创建中间件 (middlewares.py)

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://127.0.0.1:8181"

将其分配给DOWNLOADER_MIDDLEWARES (settings.py)

DOWNLOADER_MIDDLEWARES = {
    'PROJECT_NAME_HERE.middlewares.ProxyMiddleware': 350
}

Answer 3

中间件可能是：-

class ProxyMiddleware(object):
    def process_request(self, request):
        request.meta['proxy'] = "socks5://127.0.0.1:1080"

让它在你的 settings.py 文件中可用，看看它是否有效。

Answer 4

目前不可能。有a feature request for it。