Jsoup没有下载整个页面

Question

网页是：http://www.hkex.com.hk/eng/market/sec_tradinfo/stockcode/eisdeqty_pf.htm

我想使用 Jsoup 提取所有 <tr class="tr_normal"> 元素。

我使用的代码是：

Document doc = Jsoup.connect(url).get();
Elements es = doc.getElementsByClass("tr_normal");
System.out.println(es.size());

但尺寸 (1350) 比实际尺寸 (1452) 小。 我将此页面复制到我的计算机上并删除了一些<tr> 元素。然后我运行了相同的代码，它是正确的。貌似元素太多，jsoup 无法全部读取？

那么发生了什么？谢谢！

Answer 1

问题在于内部 Jsoup Http 连接处理。 选择器引擎没有问题。 我没有深入研究，但处理 http 连接的专有方式总是存在问题。我建议将其替换为 HttpClient - http://hc.apache.org/ 。如果您无法将 http 客户端添加为依赖项，您可能需要检查 Jsoup 源代码以处理 http 连接。 问题是 Jsoup.Connection 的默认 maxBodySize。请参阅更新的答案。 *我仍然保留 HttpClient 代码作为示例。 程序的输出

• 从文件加载= 1452
• 从 http 客户端加载 = 1452
• 从 jsoup 加载连接 = 1350

• 使用 maxBodySize= 1452 从 jsoup 连接加载

  package test;
  
  import java.io.IOException;
  import java.io.InputStream;
  
  import org.apache.http.HttpResponse;
  import org.apache.http.client.ClientProtocolException;
  import org.apache.http.client.HttpClient;
  import org.apache.http.client.methods.HttpGet;
  import org.apache.http.impl.client.HttpClientBuilder;
  import org.jsoup.Jsoup;
  import org.jsoup.nodes.Document;
  import org.jsoup.select.Elements;
  
  public class TestJsoup {
  
      /**
       * @param args
       * @throws IOException
       */
      public static void main(String[] args) throws IOException {
          Document doc = Jsoup.parse(loadContentFromClasspath(), "UTF8", "");
          Elements es = doc.getElementsByClass("tr_normal");
          System.out.println("load from file= " + es.size());
  
          doc = Jsoup.parse(loadContentByHttpClient(), "UTF8", "");
          es = doc.getElementsByClass("tr_normal");
          System.out.println("load from http client= " + es.size());
  
          String url = "http://www.hkex.com.hk/eng/market/sec_tradinfo"
                  + "/stockcode/eisdeqty_pf.htm";
          doc = Jsoup.connect(url).get();
          es = doc.getElementsByClass("tr_normal");
          System.out.println("load from jsoup connect= " + es.size());
  
          int maxBodySize = 2048000;//2MB (default is 1MB) 0 for unlimited size
          doc = Jsoup.connect(url).maxBodySize(maxBodySize).get();
          es = doc.getElementsByClass("tr_normal");
          System.out.println("load from jsoup connect using maxBodySize= " + es.size());
      }
  
      public static InputStream loadContentByHttpClient()
              throws ClientProtocolException, IOException {
          String url = "http://www.hkex.com.hk/eng/market/sec_tradinfo"
                  + "/stockcode/eisdeqty_pf.htm";
          HttpClient client = HttpClientBuilder.create().build();
          HttpGet request = new HttpGet(url);
          HttpResponse response = client.execute(request);
          return response.getEntity().getContent();
      }
  
      public static InputStream loadContentFromClasspath()
              throws ClientProtocolException, IOException {
          return TestJsoup.class.getClassLoader().getResourceAsStream(
                  "eisdeqty_pf.htm");
      }
  
  }