Python 3.2：Battle.net scraper 在某些 URL 上给出 404答案

【问题标题】：Python 3.2: Battle.net scraper gives 404 on certain URLsPython 3.2：Battle.net scraper 在某些 URL 上给出 404
【发布时间】：2012-08-07 06:08:02
【问题描述】：

我正在用python写一个战网屏幕刮板，我想刮this page。

问题是，当我尝试使用我的脚本下载它时得到 404。但是，在网络浏览器中查看它就可以了。

如果有帮助，这是我正在使用的代码（需要requests）：

def download(url, max_retries=10):
    for i in range(max_retries):
        print('Downloading: ' + url)
        r = requests.get(url)

        print('Status code: ' + str(r.status_code))

        if r.status_code == requests.codes.ok: return r.content
    return None

download('http://us.battle.net/sc2/en/game/unit')

感谢您的任何回答。

【问题讨论】：

标签： python screen-scraping http-status-code-404 web-scraping

【解决方案1】：

试试这个。显然结尾的斜线是必要的。

def download(url, max_retries=10):
    for i in range(max_retries):
        print('Downloading: ' + url)
        r = requests.get(url)

        print('Status code: ' + str(r.status_code))

        if r.status_code == requests.codes.ok: return r.content
    return None

download('http://us.battle.net/sc2/en/game/unit/')

【讨论】：