使用 python 请求从 HTML 中抓取特定的 javascript 变量答案

【问题标题】：Scraping specific javascript variables from HTML using python requests使用 python 请求从 HTML 中抓取特定的 javascript 变量
【发布时间】：2018-04-07 22:08:00
【问题描述】：

我目前正在 python 上发出 GET 请求，在响应中它返回一些我需要提取的特定变量并将其“保存”为我的代码中的变量以供将来在代码中使用。

这些变量称为 accessToken、ivString 和 fpAccountId。他们每个人都是平等的，这就是我需要提取的东西。

这是它在 GET 请求响应 HTML 中的样子：

var accessToken = "8CULRLPATAMoPf3fIRKJ7D13e3Dtchruqu=";
var ivString = "2e84726625315acjfshfsf==";
var encryptedFpAccountId = "NArzA4fzqrskjfs6sf==";

这些是我需要的 3 个。到目前为止，我的代码一直在使用 Beautiful Soup 来提取 HTML，但我不确定如何将这些值转换为简化版本，以便我可以在以后的代码中使用这些变量。到目前为止，这是我使用美丽的汤得到回应的内容：

uSoup = BeautifulSoup(b.text, 'html.parser')
data = uSoup.find_all('script')[16].string

b 是共鸣

【问题讨论】：

那么data的内容是什么？
改用无头浏览器并使用 javascript 读取变量和 dom 元素
数据的内容是来自 GET 请求的 HTML 响应，其中包含变量。 @约翰戈登
由于我的某些情况，我需要使用请求@charlietfl
完整的<script> 字符串，或者需要进一步帮助您的URL。

标签： javascript python html beautifulsoup python-requests

【解决方案1】：

获取 accessToken、ivString 和 encryptedFpAccountId 值的一种方法是对获取的数据使用切片运算符，并通过命中来裁剪这些变量的值，然后尝试获取切片值，例如 data[10:40]访问令牌

【讨论】：