从天气网站抓取完整的 html 数据答案

【问题标题】：Scrape full html data from weather website从天气网站抓取完整的 html 数据
【发布时间】：2020-01-25 13:45:24
【问题描述】：

我正在尝试从该网站获取天气数据：

https://www.ilmeteo.it/meteo/Magenta/previsioni-orarie?refresh_ce

用代码：

 try {
                int i = 0;
                if (googlefirst3.startsWith("http")) {
                    Document document = Jsoup.connect("https://www.ilmeteo.it/meteo/Magenta/previsioni-orarie?refresh_ce").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11 Firefox/19.0").timeout(0).get();
                    Elements temp = document.select("tr");

                    String verifica;
                    verifica=document.html();
                    for (Element movielist : temp) {
                        i++;
                        html = (i + "|||" + movielist.getElementsByTag("td").first().html());
                        array3b[i] = html;

                    }
                }

            } catch (IOException e) {
                e.printStackTrace();}

我正在尝试获取包含温度、风和时间数据的表格行：

但我无法得到它。我得到的文件不包含这些数据，而且似乎不完整。我认为这是由于 javascript 生成的 html，但即使使用这种方法：

How do I get the web page contents from a WebView?

我无法得到它。我不确定javascript是否是问题所在。任何人都可以帮助我至少尝试确定问题的性质吗？

非常感谢。

【问题讨论】：

我遇到了同样的问题，现在大多数网站都有他们网站的移动版本，这意味着他们的 html dom 与桌面版本不同。我可以建议您做的只是打印网页的文档/正文并相应地更改您的选择器
我设法用 webview 方法打印了整个 html 代码，但我正在寻找的代码似乎不知何故丢失了，即使 webview 实际显示了信息。

标签： javascript android jsoup screen-scraping scrape

【解决方案1】：

您尝试解析的页面包含使用iframe 的数据内容。

<iframe name="frmprevi" id="frmprevi" 
src="https://www.ilmeteo.it/portale/meteo/previsioni1.php?citta=Magenta&amp;c=3749&amp;gm=25" 
width="660" height="600" marginheight="0" marginwidth="0" scrolling="no"
frameborder="0" style="margin:0px;padding:0px"></iframe>

这就是 Jsoup 无法访问它的原因。要获取您想要的数据，只需直接从 iframe src 解析 URL： https://www.ilmeteo.it/portale/meteo/previsioni1.php?citta=Magenta&c=3749&gm=25

现在应该很容易了，但请注意，URL 中的参数 gm=25 可能代表每月的第 25 天，因此您必须相应地更改它以获取不同日期的数据。

【讨论】：

观察力不错。从原始页面获取 iframe 链接然后解析目标可能是一个聪明的主意
是的。这将是完美的，这样您就可以避免在参数 c=3749 也发生变化时出现问题。

【解决方案2】：

经过更多的挖掘，有一个 iFrame

你可以试试这样的

Thread(Runnable {

        val document: Document =
            Jsoup.connect("https://www.ilmeteo.it/meteo/Magenta/previsioni-orarie?refresh_ce")
                .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11 Firefox/19.0")
                .timeout(2000).get()




        val body = document.body()
        val table = body.getElementsByClass("datatable")


        val iframe: Element = body.getElementById("frmprevi")
        val iframeSrc: String = iframe.attr("src")

        if (iframeSrc != null) {
            val iframeContentDoc = Jsoup.connect(iframeSrc).get()
            val temps = iframeContentDoc.body().getElementsByClass("boldval")
            for(temp in temps)
            {
                Log.d("temps",temp.text())
            }
        }



    }).start()

它在 kotlin 中，但我想你会明白如何将它翻译成 java 以及如何从那里获取其他信息。

【讨论】：