在 javascript 网站上为 python 请求构建 XHR 链接

Question

我正在使用请求抓取以下网站Scorebing。 为此，我正在探索该网站以定位 XHR 调用并获取这样的 url

代码如下

import requests,json

header={some data from the XHR I got using Postman}
url='https://lv.scorebing.com/ajax/score/data?mt=0&nr=1&corner=1'

response=requests.get(url=url,headers=header,data=json.dumps({}))
response.json()

那里没有问题。我的问题是，如果我切换选项卡，例如从 Corner 切换到 Fixture，则不会调用新的 XHR。事实上，只有“Live Matches”和“Corners”允许这种直接的 XHR 连接。我看到一些 js 脚本已加载，但我无法从那里复制我的上一步。

我知道我可以使用 selenium 来抓取它，并且可能使用对页面 url 的常规请求并使用 BSoup，但我不明白为什么有些选项卡会调用 XHR 来加载其他类似选项卡使用的数据js。 我想知道如何对这些 js 调用进行逆向工程，以获得类似于第一部分的 API。

Answer 1

首先，你应该知道Chrome中的XHR(XMLHttpRequest)会记录所有的ajax请求。

---

Ajax 是什么？

Ajax 是一组 Web 开发技术，在客户端使用许多 Web 技术来创建异步 Web 应用程序。

Ajax 可以通过JavaScript 或jQuery 来实现（嗯，jQuery 是一个JavaScript 库。它本质上是JavaScipt，但是jQuery 提供了一个关于ajax 的API。

在您的示例页面中，源代码中有许多 ajax 请求：

---

我想知道如何对这些 js 调用进行逆向工程以获得类似于第一部分的 API。

如果你真的想通过源代码来做，你应该：

1. 向页面发送GET 请求。
2. 分析页面源代码，然后迭代每个Javascript。（同时发送GET请求。）
3. 找到所有的ajax请求，同时发送GET请求，从中选择你需要的数据。