【问题标题】:Access denied to a website using tor使用 tor 拒绝访问网站
【发布时间】:2015-09-04 10:43:29
【问题描述】:

我正在尝试制作一个通过 tor 请求 url 的机器人。我已经配置了tor。 下面是python代码。

import pycurl
curl = pycurl.Curl()
curl.setopt(pycurl.URL, URL)
curl.setopt(pycurl.PROXY, '127.0.0.1')
curl.setopt(pycurl.PROXYPORT, 9050)
curl.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5_HOSTNAME)
curl.perform()

它给出了 html 文件,访问被拒绝 | url 使用 cloudflare 限制访问。

但是当通过配置了tor的浏览器访问相同的url时,该url是成功访问的。

有没有办法使用python脚本访问URL?

谢谢

【问题讨论】:

    标签: python cloudflare tor pycurl


    【解决方案1】:

    更改pycurl的user_agent,如:

    curl.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:8.0) Gecko/20100101 Firefox/8.0')
    

    【讨论】:

    • 您可能想要发送更新的用户代理...Mozilla/5.0 (Windows NT 10.0; WOW64; rv:40.0) Gecko/20100101 Firefox/40.0
    • 你为什么要关心这个? Cloudflare 会检查这些事情吗?
    • 我不知道 CloudFlare 是否专门这样做,但所有主要网站都这样做,原因有很多。一种尝试停止自动化和网络爬行的方法。 @user2358582
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2015-09-25
    • 2013-10-08
    • 1970-01-01
    • 2020-10-30
    • 1970-01-01
    • 1970-01-01
    • 2018-06-11
    相关资源
    最近更新 更多