如何下载网页数据库提供的内容？

Question

我是 Java 编程新手，所以我的问题可能很愚蠢！ 我正在通过 python 中的 Django 构建一个网站。我需要从另一个站点下载一些内容并实时显示它们。确保我可以通过下载该页面的 HTML 代码并抓取它们（使用 bs4 和 ...）来提取数据，但问题是我的目标站点使用 JavaScript 进行交互行为，当我尝试下载其内容（使用 python 的 urllib 或请求）时，它只会向我发送一些 java 脚本，例如： 我希望内容是这样的：

<td><a>data to scrape 1</a></td>
<td><a>data to scrape 2</a></td>
<td><a>data to scrape 3</a></td>
...

但它是这样的：

<tr ng-repeat="toy in letter.list | filter:symbol_srch">
<td><a>{{toy.s}}</a></td>
<td>{{toy.n}}</td>
</tr>

似乎“玩具”变量是由数据库后端提供的。

当然，我可以在抓取之前使用浏览器或软件包（例如 selenium）来呈现该网站，但我的服务器上没有任何浏览器，并且我不允许安装或使用便携式版本！

我认为由于该站点的后端将变量发送到我的浏览器，并且我的浏览器可以读取和呈现它们，因此我可以获取这些变量并在没有任何浏览器的情况下读取它们。 有人知道吗？或者有没有办法在没有任何外部软件的情况下使用 python 呈现网站内容？

Answer 1

当您浏览到该页面时，在 Chrome 开发人员工具的“网络”选项卡上检查从浏览器发出的 API 调用。然后您可以使用响应和您需要的所有内容检查流量