使用 python3 requests.Session() 进行快速抓取

Question

这看起来很简单，但由于某种原因，这并没有正确连接到 Flurry，而且我无法抓取数据。

    loginurl = "https://dev.flurry.com/secure/loginPage.do"
    csvurl = "https://dev.flurry.com/eventdata"

    session = requests.Session()
    login = session.post(loginurl, data={'loginEmail': 'user', 'loginPassword': 'pass'})
    data = session.get(csvurl)

每次我尝试使用它时，我都会被重定向回登录屏幕 (loginurl)，而不会获取新数据。有没有人能像这样成功连接到flurry？

我们将不胜感激任何和所有的帮助，谢谢。

Answer 1

还有两个要填充的表单字段 struts.token.name 和来自 struts.token.name 的值，即 token，您还必须发布到 loginAction.do：

您可以使用 bs4 进行初始获取和解析值，然后发布数据：

from bs4 import BeautifulSoup
import requests 

loginurl = "https://dev.flurry.com/secure/loginAction.do"
csvurl = "https://dev.flurry.com/eventdata"#
data = {'loginEmail': 'user', 'loginPassword': 'pass'}

with requests.Session() as session:
    session.headers.update({
        "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36"})

    soup = BeautifulSoup(session.get(loginurl).content)
    name = soup.select_one("input[name=struts.token.name]")["value"]
    data["struts.token.name"] = name
    data[name] = soup.select_one("input[name={}]".format(name))["value"]
    login = session.post(loginurl, data=data)