如何使用 python 脚本访问 XHR 数据？答案

【问题标题】：How to get access to XHR data using python script?如何使用 python 脚本访问 XHR 数据？
【发布时间】：2020-02-29 18:29:42
【问题描述】：

我在这个网址中有以下数据：

https://forsikringsguiden.dk/signalr/poll?transport=longPolling&messageId=d-3E730B44-EB%2C0%7CTX%2C1%7CTY%2C1%7CTZ%2C0&clientProtocol=1.4&connectionToken=81u0%2BTRKNqfgWWdC72ld4wHwbmFGpkCXZRiPe3a1mJPmKvrJpUhBiq3qOThYE04iotxtecRVERe7QA2OyL0GugQoS2nyzbnlcvGZpV1JSav5XqGY0OCrpBKVp0vqXToc&connectionData=%5B%7B%22name%22%3A%22insuranceofferrequesthub%22%7D%5D&tid=5&_=1572867896650

如何使用 python 脚本访问数据？

下面是标题信息。我相信使用数据的组合我可以生成一个 URL，但我认为合并所有不同的信息以最终得到一个最终 URL 是有风险的。

如果缺少其他信息，请告诉我，我不知道我的问题中还需要包含什么。

我需要的数据是“companydisplayname”、“basicprice”和“discountprice”。

下图来自主 URL 的检查，需要您在添加信息之前填写一些表格。它比较了保险价格：

https://forsikringsguiden.dk/#!/bilforsikring/resultatside

【问题讨论】：

你试过使用requests吗？
是的，我做到了。如何使用请求获取 URL？

标签： python selenium web-scraping beautifulsoup

【解决方案1】：

您可以使用以下脚本。首先，我们可以使用 requests 来获取 JSON，然后对其执行操作以获取所需的结果：

import requests
request_data = requests.get(url ="https://forsikringsguiden.dk/signalr/poll?transport=longPolling&messageId=d-3E730B44-EB%2C0%7CTX%2C1%7CTY%2C1%7CTZ%2C0&clientProtocol=1.4&connectionToken=81u0%2BTRKNqfgWWdC72ld4wHwbmFGpkCXZRiPe3a1mJPmKvrJpUhBiq3qOThYE04iotxtecRVERe7QA2OyL0GugQoS2nyzbnlcvGZpV1JSav5XqGY0OCrpBKVp0vqXToc&connectionData=%5B%7B%22name%22%3A%22insuranceofferrequesthub%22%7D%5D&tid=5&_=1572867896650")
request_json = request_data.json()

# Now Perform Operations
for a_key in data["M"]:
    for a_value in a_key["A"]:
        # Checking whether companydisplayname, basicprice and discounted price exists or not
        if "offers" in a_value and "companydisplayname" in a_value["offers"][0] and "basicprice" in a_value and "discountedprice" in a_value:
            print "Company Name : ",a_value["offers"][0]["companydisplayname"]
            print "Basic Price : ",a_value["basicprice"]
            print "Discounted Price : ",a_value["discountedprice"]

输出：

Company Name :  Topdanmark
Basic Price :  8360
Discounted Price :  7003
Company Name :  OK Forsikring
Basic Price :  6473
Discounted Price :  6473
Company Name :  GF Forsikring
Basic Price :  6737
Discounted Price :  6737
Company Name :  Nykredit Forsikring A/S
Basic Price :  5215
Discounted Price :  4707
Company Name :  Gjensidige Forsikring A/S
Basic Price :  5215
Discounted Price :  4707
Company Name :  If Skadeforsikring
Basic Price :  4938
Discounted Price :  4670
Company Name :  PenSam
Basic Price :  4691
Discounted Price :  4691
Company Name :  Runa Forsikring
Basic Price :  999999
Discounted Price :  3877
Company Name :  Bauta Forsikring
Basic Price :  999999
Discounted Price :  3877
Company Name :  Alm. Brand
Basic Price :  4252
Discounted Price :  3633
Company Name :  Alka Forsikring
Basic Price :  6151
Discounted Price :  6151
Company Name :  Tryg
Basic Price :  7324
Discounted Price :  5884
Company Name :  FDM Forsikring
Basic Price :  4227
Discounted Price :  4227
Company Name :  Lærerstandens Brandforsikring
Basic Price :  999999
Discounted Price :  3877

希望对你有帮助！！！

【讨论】：

这很可爱。我有一个脚本可以让我到达 URL 的站点。我想知道是否有办法使整个过程自动化。所以我不需要手动定位和插入 URL。你明白我的担心吗？如果我需要进一步澄清，请告诉我:)
您可以将您的 URL 动态分配给一个变量。然后您可以在上面的程序中使用该变量而不是 URL 链接。
请允许我重新表述我的问题：如何使用 python 获取代码中的 URL？
我在想：stackoverflow.com/questions/25654659/…，但不完全确定