从 CME 抓取数据答案

【问题标题】：Scraping data from CME从 CME 抓取数据
【发布时间】：2021-11-07 08:01:39
【问题描述】：

我正在尝试从 CME 交易所抓取数据：

https://www.cmegroup.com/CmeWS/mvc/Settlements/Futures/Settlements/425/FUT?tradeDate=11/05/2021

我有以下代码sn-p：

import requests as r

user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
header = {'User-Agent': user_agent}
link = 'https://www.cmegroup.com/CmeWS/mvc/Settlements/Futures/Settlements/425/FUT?tradeDate=11/05/2021'
page = r.get(link,headers=header)
raw_json = json.loads(page.text)

虽然它在本地计算机上运行良好，但它完全挂在远程托管服务器（Digital Ocean，Hetzner）上。我也尝试过 curl url，但它给出了一个超时错误，没有额外的细节。

我需要为此使用硒吗？我想知道从本地计算机和托管服务器抓取数据有什么不同。

我不知道如何解决这个问题。希望你能给我一些线索。

【问题讨论】：

标签： python web-scraping python-requests

【解决方案1】：

您可以从 URL 本身获取 json 响应，而不需要 page.text 转换为 json

直接用这个就可以了

data=page.json()

【讨论】：

感谢您的建议。但它应要求挂起。我从来没有得到服务器的响应。我认为这与如何提出请求有关。虽然，我添加了标题。