【问题标题】:HTML Form generates file download but where did the file come from?HTML 表单生成文件下载,但文件来自哪里?
【发布时间】:2018-06-30 14:05:44
【问题描述】:

我一直在使用 Chrome 中的开发者工具来查看在网站上不同点会发生什么。这帮助我自动化了我不时执行的一些任务。我目前正在尝试使用 python 自动下载文件。

https://newjersey.mylicense.com/Verification_4_6/Verification_Bulk_4_6/Search.aspx?facility=Y

使用本网站,如果您填写表格,您将看到信息页面,或者您可以选择下载包含所有信息的 csv。我一直在尝试追踪数据的来源,以便我可以使用 python 使用预设过滤器定期下载文件。我似乎无法确定文件的来源,我假设它是动态生成的。

我已经将请求复制为 CURL 并在过去将其转换为 python 以执行类似的任务。我找不到这个文件的正确请求。

任何帮助将不胜感激!

【问题讨论】:

  • 文件来自服务器
  • 我明白了,是否可以仅使用 Python 中的请求来获取文件?
  • 是的,和浏览器发送的请求一样
  • 这就是我寻求帮助的原因。我尝试使用在 chrome 中使用开发人员工具报告的请求,但无法追踪处理文件的实际请求。
  • 开发者工具应该向您显示请求的 URL 以及请求标头和请求正文(如果请求方法不是 GET) - 您在开发者工具中看不到哪一部分?

标签: javascript python html ajax google-chrome


【解决方案1】:

当我深入研究这个问题时,我能够获得正在发送的下载请求。

POST /Verification_4_6/Verification_BULK_4_6/PrefDetails.aspx HTTP/1.1
Host: newjersey.mylicense.com
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-US,en;q=0.5
Accept-Encoding: gzip, deflate
Referer: https://newjersey.mylicense.com/Verification_4_6/Verification_BULK_4_6/PrefDetails.aspx
Cookie: *
Connection: close
Content-Type: application/x-www-form-urlencoded
Content-Length: 336

__VIEWSTATE=%2FwEPDwUJNzM2NTgwNzkyZGSsFPyLciI3gDnR3y%2FxYwHNweKGIEFnJ%2FzBJHPpuNJ1WQ%3D%3D&__VIEWSTATEGENERATOR=77410E8E&__EVENTVALIDATION=%2FwEdAASoctjMBW5Qw%2Fn%2BtZORNP%2BrWiH8QdCSloyjmvbgUsikPmZ0ykqcWIOKRv0u40f%2F2wmhB7rIFeftzRbk4tZlnAa2oCHi8XWNfIVtv%2FuYtH%2Bw7cUEy6q8uVxE%2B0k5O1xozJo%3D&sch_button=Download&filetype=delimitedtext

使用 burp suite 或 wireshark 之类的工具可以让您捕获流量并分析向/从 Web 服务器发出的请求。

wireshark:https://www.wireshark.org/docs/man-pages/wireshark-filter.html 打嗝套件:https://portswigger.net/burp

【讨论】:

    猜你喜欢
    • 2015-01-17
    • 1970-01-01
    • 2018-12-22
    • 2010-09-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-03-28
    相关资源
    最近更新 更多