使用 'Requests' python 模块进行 POST 请求，像 GET 一样接收响应

Question

所以我正在尝试制作一个脚本来检查公共汽车的预订可用性。起始链接是https://reservation.pc.gc.ca/。

在保留框中需要选择以下内容：

• 预订：日间使用（带导游的徒步旅行、奥哈拉湖巴士）
• 公园：Yoho-Lake O'Hara
• 到货日期：6 月 16 日
• 聚会人数：2

输入这些选项后，它会将您带到以下页面：https://reservation.pc.gc.ca/Yoho-LakeO'Hara?Calendar

据我了解，如果我使用正确的数据向第二个链接发送 POST 请求，它应该返回我正在寻找的页面

如果我在选择正确参数时查看开发工具网络信息，则表单数据为：

__EVENTTARGET：

__EVENTARGUMENT： __VIEWSTATE：-非常长的字符串-

__VIEWSTATEGENERATOR： 8D0E13E6

ctl00$MainContentPlaceHolder$rdbListReservationType：事件

ddlLocations： 213a1bc9-9218-4e98-9a7f-0f209008e437**

ddlArrivalMonth： 2017-06-16

ddlArrivalDay： 19

ddlNights： 1

ddlDepartureMonth：

ddlDepartureDay：

ddl设备：

ddlEquipmentSub：

ddlPartySize:2

ctl00$MainContentPlaceHolder$chkExcludeAccessible：开启

ctl00$MainContentPlaceHolder$imageButtonCalendar.x： 64

ctl00$MainContentPlaceHolder$imageButtonCalendar.y： 56

所以我写的代码是：

import requests

payload = {
        '__EVENTTARGET': '',
        '__EVENTARGUMENT': '',
        '__VIEWSTATE':-reallly long string-,
        '__VIEWSTATEGENERATOR': '8D0E13E6',
        'ctl00$MainContentPlaceHolder$rdbListReservationType': 'Events',
        'ddlLocations': '213a1bc9-9218-4e98-9a7f-0f209008e437',
        'ddlArrivalMonth': 2017-06-16,
        'ddlArrivalDay': 19,
        'ddlNights': 1,
        'ddlDepartureMonth': '',
        'ddlDepartureDay': '',
        'ddlEquipment': '',
        'ddlEquipmentSub': '',
        'ddlPartySize': 2,
        'ctl00$MainContentPlaceHolder$chkExcludeAccessible': 'on',
        'ctl00$MainContentPlaceHolder$imageButtonCalendar.x': 64,
        'ctl00$MainContentPlaceHolder$imageButtonCalendar.y': 56
        }

r = requests.get(r"https://reservation.pc.gc.ca/Yoho-LakeO'Hara?Calendar", data=payload)

print r.text

r.text 最终只是第二个链接，就好像没有输入任何参数一样 - 就好像我只是向该链接发送了一个普通的 GET 请求。我尝试将整数的有效负载值转换为字符串，我尝试删除空键：值对。没运气。试图弄清楚我错过了什么。

Answer 1

在我看来，发生了两件事：

1. @errata 是正确的，这应该是一个 POST 请求。您已经完成了一半。

2. 但我注意到，它似乎将表单数据发布到 Home.aspx，而您在提交表单后看到的 URL 是该处理和后续重定向的结果。

您可以尝试将表单数据以 json 格式发布到 ./Home.aspx。

我通过 Postman 发现这几乎可以工作，但我必须指定内容类型才能获得正确的结果。

如果你需要知道如何在 .post() 方法中添加 header 和 body 指令，看起来有一个很好的例子（虽然可能有点过时）： adding header to python request module

另外，请查看 Postman。如果您既不熟悉请求又不熟悉 Python，至少这可以减轻一些反复试验的负担。

Answer 2

你正在使用

r = requests.get(r"https://reservation.pc.gc.ca/Yoho-LakeO'Hara?Calendar", data=payload)

而不是

r = requests.post(r"https://reservation.pc.gc.ca/Yoho-LakeO'Hara?Calendar", data=payload)

深入挖掘您的问题，我发现您调用的 URL 实际上是重定向到不同的 URL（返回 HTTP 响应 302）：

$ curl -I "https://reservation.pc.gc.ca/Yoho-LakeO'Hara"
HTTP/1.1 302 Found
Cache-Control: private
Content-Length: 77273
Content-Type: text/html; charset=utf-8
Location: https://reservation-pc.fjgc-gccf.gc.ca/GccfLanguage.aspx?lang=eng&ret=https%3a%2f%2freservation.pc.gc.ca%3a443%2fYoho-LakeO%27Hara
Server: Microsoft-IIS/8.0
Set-Cookie: ASP.NET_SessionId=qw4p4e2zxjxx0c2zyq014p45; path=/; secure; HttpOnly
Set-Cookie: CookieLocaleName=en-CA; path=/; secure; HttpOnly
X-Powered-By: ASP.NET
X-Frame-Options: SAMEORIGIN
Date: Wed, 17 May 2017 14:22:53 GMT

但是，在响应中的 Location 之后也会导致 302：

$ curl -I "https://reservation-pc.fjgc-gccf.gc.ca/GccfLanguage.aspx?lang=eng&ret=https%3a%2f%2freservation.pc.gc.ca%3a443%2fYoho-LakeO%27Hara"
HTTP/1.1 302 Found
Cache-Control: private
Content-Length: 179
Content-Type: text/html; charset=utf-8
Location: https://reservation.pc.gc.ca:443/Yoho-LakeO'Hara?gccf=true
Server: Microsoft-IIS/8.0
Set-Cookie: ASP.NET_SessionId=rbcuvexfg4fb340ixtcjd1qy; path=/; secure; HttpOnly
Set-Cookie: _gc_lang=eng; domain=.fjgc-gccf.gc.ca; path=/; secure; HttpOnly
X-Powered-By: ASP.NET
X-Frame-Options: SAMEORIGIN
Date: Wed, 17 May 2017 14:24:55 GMT

所有这些都可能导致请求最终将您的 POST 转换为 GET...