使用请求获取 .onion 域答案

【问题标题】：Fetching a .onion domain with requests使用请求获取 .onion 域
【发布时间】：2017-03-23 09:12:58
【问题描述】：

我正在尝试使用请求访问以下域 nzxj65x32vh2fkhk.onion。
我运行了 Tor，并且正确配置了会话的对象代理。

import requests
session = requests.session()
session.proxies = {'http':  'socks5://localhost:9050',
                   'https': 'socks5://localhost:9050'}
print(session.get('http://httpbin.org/ip').text) # prints {"origin": "67.205.146.164" }

print(requests.get('http://httpbin.org/ip').text) # prints {"origin": "5.102.254.76" }

但是，当我尝试使用 .onion 域访问 URL 时，出现以下错误：

session.get('http://nzxj65x32vh2fkhk.onion/all')

ConnectionError: SOCKSHTTPConnectionPool(host='nzxj65x32vh2fkhk.onion', port=80): Max retries exceeded with url: /all (Caused by NewConnectionError('<requests.packages.urllib3.contrib.socks.SOCKSConnection object at 0x7f5e8c2dbbd0>: Failed to establish a new connection: [Errno -2] Name or service not known',))

我还尝试按照其中一个答案的建议将localhost 替换为127.0.0.1。不幸的是，结果是一样的。

使用 urllib2 执行相同的请求就可以了。

import socks, socket, urllib2

def create_connection(address, timeout=None, source_address=None):
  sock = socks.socksocket()
  sock.connect(address)
  return sock

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, '127.0.0.1', 9050)
socket.socket = socks.socksocket
socket.create_connection = create_connection

print(urllib2.urlopen('http://nzxj65x32vh2fkhk.onion/all').read()) # Prints the URL's contents

cURL 还可以正确检索页面内容。

我正在使用 Python 2.7.13，请求 2.13.0 和 PySocks 1.6.7。 Tor 正在使用以下命令通过 docker 容器运行：

sudo docker run -it -p 8118:8118 -p 9050:9050 -d dperson/torproxy

我在这里做错了什么？我需要做什么才能让请求识别 .onion 网址？

【问题讨论】：

见stackoverflow.com/a/14988105/2689986
@AshishNitinPatil 但我可以使用 urllib2 解析 DNS，而无需使用monkeypatching getaddrinfo。此外，该答案并没有说明如何做到这一点。
但是您正在在获取urllib2 示例中的url 之前创建socket 连接，requests 的情况并非如此。您可能必须弥合这个差距，不知道如何。

标签： python python-requests urllib2 socks

【解决方案1】：

解决方案是使用socks5h 协议，以便在本地 DNS 解析过程失败时启用远程 DNS 解析。 See https://github.com/kennethreitz/requests/blob/e3f89bf23c53b98593e4248054661472aacac820/requests/packages/urllib3/contrib/socks.py#L158

以下代码按预期工作：

import requests
session = requests.session()
session.proxies = {'http':  'socks5h://localhost:9050',
                   'https': 'socks5h://localhost:9050'}
print(session.get('http://httpbin.org/ip').text) # prints {"origin": "67.205.146.164" }

print(requests.get('http://httpbin.org/ip').text) # prints {"origin": "5.102.254.76" }

print(session.get('http://nzxj65x32vh2fkhk.onion/all').text) # Prints the contents of the page

【讨论】：