试图从网页上的表格中提取信息答案

【问题标题】：Trying to pull information from a table on a webpage试图从网页上的表格中提取信息
【发布时间】：2018-06-27 04:02:12
【问题描述】：

我对 java 和 HTML 还很陌生。一段时间以来，我一直试图从网页上的表格中提取信息，但无济于事。根据我从浏览其他问题中了解到的情况，我知道我需要使用 Jsoup（或类似的东西，但我正在使用 Jsoup）从网站上获取数据，但是当涉及到“节点”时我会感到困惑和“孩子”什么的不是为了找到我想要的具体信息。

String margins = "https://platinumtokens.com/";

    Document doc = Jsoup.connect(margins).get();
    Elements tableElements = doc.select("div");

    System.out.println(doc);
    System.out.println(tableElements.get(0));

我需要将商品的名称和商品的价格保存在一个数组或其他东西中来组织它们，但我不知道如何专门将它们从网页中拉出来。

感谢您的帮助:)

编辑：我对 Java 变量并不完全熟悉，但我希望将每个单独的项目与它的买卖价格、保证金、回报百分比和交易量一起放入一个列表中

【问题讨论】：

你的预期产量是多少？有几种价格？
我对 Java 变量并不完全熟悉，但我希望将每个单独的项目与它的买卖价格、保证金、回报百分比和交易量一起放入一个列表中。

标签： web-scraping jsoup screen-scraping webpage children

【解决方案1】：

您需要 selenium web 驱动程序，因为此网页使用 Javascript 显示项目表。我用 phantomjs 创建了一个测试代码。

http://www.seleniumhq.org/projects/webdriver/

http://phantomjs.org/

https://github.com/bonigarcia/webdrivermanager

public void test2() {

    // web driver setup
    PhantomJsDriverManager.getInstance().setup();
    PhantomJSDriver driver = new PhantomJSDriver();

    // access the web page
    driver.get("https://platinumtokens.com/");

    // wait for loading
    while (!(driver.executeScript("return document.readyState").equals("complete"))) {
        try {
            Thread.sleep(500);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

    // list to store item infomation
    List<Info> infos = new ArrayList<>();

    // get  tr tags
    List<WebElement> tr = driver.findElementsByTagName("tr");
    for (WebElement e: tr) {
        // get td tags inside a tr tag
        List<WebElement> td = ((RemoteWebElement) e).findElementsByTagName("td");
        if (!td.isEmpty()) {
            String name = ((RemoteWebElement) td.get(1)).findElementByTagName("a").getText();
            Info info = new Info(name, td.get(2).getText(), td.get(3).getText());
            infos.add(info);
        }
    }

    // display infomation
    for (Info info: infos) {
        System.out.println(info.toString());
    }
}

// to store a data
public static class Info {
    private String item;
    private String buy;
    private String sell;

    public Info(String item, String buy, String sell) {

        this.item = item;
        this.buy = buy;
        this.sell = sell;
    }

    @Override
    public String toString() {
        return "Info{" +
                "item='" + item + '\'' +
                ", buy='" + buy + '\'' +
                ", sell='" + sell + '\'' +
                '}';
    }
}

【讨论】：