网页抓取 jsoup java 无法抓取完整信息

Question

我有一个要从网站上抓取的信息。我可以刮掉它。但并非所有信息都被抓取。有这么多的数据丢失。以下图片可帮助您进一步了解：

我使用 Jsoup，将其连接到 URL，然后使用以下代码提取此特定数据：

Document doc = Jsoup.connect("https://www.awattar.com/tariffs/hourly#").userAgent("Mozilla/17.0").get();
Elements durationCycle = doc.select("g.x.axis g.tick text");

但在结果中，我根本找不到任何相关信息。所以我从 URL 打印了整个文档，它显示了以下内容：

当我下载页面并将其作为输入文件读取时，我可以看到这些信息，但当我直接连接到 URL 时却看不到。但我想将它连接到 URL。有什么建议吗？

我希望我的问题可以理解。如果无法解释，请告诉我。

Answer 1

Jsoup 中存在请求正文限制。你应该使用 maxBodySize 参数：

Document doc = Jsoup.connect("https://www.awattar.com/tariffs/hourly#").userAgent("Mozilla/17.0").maxBodySize(0).get();

“0”没有限制。