Java - 彩票统计解析器答案

【问题标题】：Java - Lottery statistic parserJava - 彩票统计解析器
【发布时间】：2012-09-11 20:21:01
【问题描述】：

我正在尝试从网页中解析一些 int，但遇到了一些问题：

1 该网页是使用 javascript 生成的。

此示例代码（Credz 到 Oracle.com。StackOverflow 不会让我链接）在执行 javascript 之前打印出 html 代码。

import java.net.*;
import java.io.*;

public class URLConnectionReader {
    public static void main(String[] args) throws Exception {
        URL oracle = new URL("http://www.oracle.com/");
        URLConnection yc = oracle.openConnection();
        BufferedReader in = new BufferedReader(new InputStreamReader(
                                    yc.getInputStream()));
        String inputLine;
        while ((inputLine = in.readLine()) != null) 
            System.out.println(inputLine);
        in.close();
    }
}

问：如何获取生成的html？

2 直接进入链接时网页渲染不正确： This direct link 将呈现为一个空的“shell”。转到this link 并单击Vis utskriftsside（左下）将打开一个新的正确渲染的窗口。

问：这两个链接有什么区别？如何使用直接链接访问正确呈现的网页？

编辑

这是生成我要抓取的数字的 HTML/JavaScript：

 <div id="drawNumbers" class="drawn-numbers">
 <script type="text/javascript">
    var tableData ='';
    if (opener.draw_numbers) {
        for(var i = 0; i<opener.draw_numbers.length;i++){
            tableData += '<div class="number" style="left:'+(i*28+8)+'px;">';
            tableData += '<img width="23" height="23" alt="" src="/nt-keno/result/images/res_keno_tallramme_print.gif">';
            tableData += '</div>';
            tableData +=  '<div class="number" style="left:'+(i*28+9)+'px; top:9px; z-index: 30;">' +opener.draw_numbers[i]+ '</div>';
        }
    }
    document.writeln(tableData);
</script>
</div>

我可以将这个数组导入 java 吗？

opener.draw_numbers[i]

【问题讨论】：

标签： java javascript html-parsing

【解决方案1】：

您所做的被称为“抓取”，动态页面通常会导致问题：

How do you scrape AJAX pages?

Scraping dynamically generated html inside Android app

Best web scraping Ruby on Rails library that handles dynamic HTML produced by javascript

没有简单的解决方案。

【讨论】：

我假设我尝试访问的数据存储在数据库中。是否可以找到它的存储位置？
@Bøtteknotten 除非您有能力直接查询数据库（或者他们提供 API），否则知道数据库的位置将无济于事。

【解决方案2】：

页面有一个框架，其中包含：

https://www.norsk-tipping.no/nt-keno/result/keno_result_info.jsp?drawID=1771&bet=10&keno_level=10

数据来自一个 json url。您可以使用 firebug 等工具看到这一点：

https://www.norsk-tipping.no/api-keno/getResultInfo.json

【讨论】：