阿布云为我们提供了隧道代理IP的服务,通过阿布云HTTP隧道的动态版可以让我们的爬虫很好的使用动态代理IP
由此可知我们可以得到requests接入代码
1 # -*- coding:utf-8 -*- 2 import requests 3 4 # 要访问的目标网页 5 url = "http://httpbin.org/get" 6 7 # 代理服务器,根据购买的套餐,自行查看修改 8 proxy_host = "http-dyn.abuyun.com" 9 10 # 代理端口 11 proxy_prot = "9020" 12 13 # 代理隧道验证信息 14 proxy_user = "H01234567890123D" # 购买隧道的通行证书 15 proxy_pass = "0123456789012345" # 购买隧道的通行秘钥 16 17 proxy_meta = "http://%(user)s:%(pass)s@%(host)s:%(port)s"%{ 18 "host":proxy_host, 19 "port":proxy_prot, 20 "user":proxy_user, 21 "pass":proxy_pass, 22 } 23 24 proxies = { 25 "http":proxy_meta, 26 "https":proxy_meta, 27 } 28 29 response = requests.get(url=url,proxies=proxies) 30 print(response.status_code) 31 print(response.text)