无法使用请求模块在python中代理请求答案

【问题标题】：Cannot proxy requests in python using requests module无法使用请求模块在python中代理请求
【发布时间】：2019-12-17 17:34:59
【问题描述】：

我正在尝试在 python 中构建一个基本的代理检查器实用程序。这就是我现在拥有的：

import requests 
from bs4 import BeautifulSoup
currentip=""
originalip=""
isProxied=False

proxies=["104.236.54.196:8080", "187.62.191.3:61456", "138.204.179.162:44088", "91.216.66.70:32306"]
proxy_count = len(proxies)

url = "https://www.ipchicken.com/"
r = requests.get(url)

def statement():
    global currentip
    global originalip
    print("Current ip is: "+currentip)
    print("Your true ip is: "+originalip)



def main(req):
    global currentip
    soup = BeautifulSoup(req.content, "html.parser")
    html = soup.html
    body = html.body
    font = body.find_all('font')
    ip_container = font[0].b
    ip = ip_container.contents[0]
    currentip=ip

main(r)

originalip=currentip

statement()

print("\n\n")

print("testing proxies...")

print("\n\n")

for x in range(proxy_count):
    proxyContainer={"http":"http://"+proxies[x]}
    r2 = requests.get(url, proxies=proxyContainer, timeout=20)
    print("proxy: " + proxies[x])
    main(r2)
    statement()
    print("\n\n")
    if (currentip==originalip): 
        print("Proxy failed.")
    else:
        print("This proxy works")
    print("\n")

代码运行良好，请求已发出，但它们似乎没有被代理。这是我的输出：

Current ip is: 
199.229.249.163
Your true ip is: 
199.229.249.163



testing proxies...



proxy: 104.236.54.196:8080
Current ip is: 
199.229.249.163
Your true ip is: 
199.229.249.163



Proxy failed.


proxy: 187.62.191.3:61456
Current ip is: 
199.229.249.163
Your true ip is: 
199.229.249.163



Proxy failed.


proxy: 138.204.179.162:44088
Current ip is: 
199.229.249.163
Your true ip is: 
199.229.249.163



Proxy failed.


proxy: 91.216.66.70:32306
Current ip is: 
199.229.249.163
Your true ip is: 
199.229.249.163



Proxy failed.

我已经在一个单独的程序中测试了这些代理，它们似乎工作正常，我认为代理不是问题。

【问题讨论】：

如果你连接到加密的 url https 那么你应该为加密的https 或ssl 连接设置代理 - 但你只为http 设置代理
而不是在main() 中使用global 你应该使用return ip 和currentip = main(r)

标签： python python-3.x http python-requests proxies

【解决方案1】：

如果您连接到加密 URL https，那么您必须为 https 连接设置代理，但您仅为 http 设置代理，因此它不使用代理。

问题是找到工作代理。

我从https://hidemy.name/en/proxy-list/?type=s#list 获取，但我不知道它会工作多久。

为了测试 IP，我使用了 httpbin.org，它以 JSON 形式返回数据，因此很容易显示或转换为 Python 的字典。

import requests 

url = "https://httpbin.org/ip"

proxies = {
   #"http": '141.125.82.106:80',
   "https": '141.125.82.106:80',
}

r = requests.get(url, proxies=proxies)

print(r.text)

ip = r.json()["origin"]
print('IP:', ip)

顺便说一句：其他问题可能是某些代理在额外的标头中发送您的 IP，服务器可能会得到它 - 所以并非所有代理都是匿名的。

编辑：带有https://www.ipchicken.com/的版本

import requests 
from bs4 import BeautifulSoup

def get_ip(request):
    soup = BeautifulSoup(request.content, "html.parser")
    return soup.find('font').b.contents[0]

url = "https://www.ipchicken.com/"

proxies = {
   #"http": '141.125.82.106:80',
   "https": '141.125.82.106:80',
}

r = requests.get(url, proxies=proxies)
ip = get_ip(r)
print(ip)

【讨论】：