如何自动查询网页并解析页面上显示的数据并将其存储在数据库中答案

【问题标题】：How to automatically query a webpage and parse the data which is displayed on the page and store it in a database如何自动查询网页并解析页面上显示的数据并将其存储在数据库中
【发布时间】：2014-06-19 18:18:20
【问题描述】：

我尝试了很多搜索，但找不到针对我的问题的具体答案。我正在尝试构建一个分析软件，该软件通过使用不同的数据样本查询网站来获取数据。例如：考虑这个网址：http://onlineresult.msbte.org.in/ore201401/ 现在在这里您必须在框中提供座位号/注册号。一旦你点击搜索，它就会显示学生的结果。

现在我想做的是通过软件自动化任务并检索 N 名学生的数据。这些数据将进一步用于分析目的。

示例案例：在座位号框中输入：- 586124 并点击搜索。

您现在将获得一个页面http://onlineresult.msbte.org.in/ore201401/index.php/public_display/result 显示学生的结果。

所以我想从页面中获取这个结果并将其存储在数据库中。

提前感谢您的帮助。

【问题讨论】：

标签： java javascript database web-services analytics

【解决方案1】：

您可以使用 Selenium WebDriver 来：

访问页面
提供座位号
点击按钮
等到显示包含该值的元素
阅读它包含

但是，它是一个简单的网站，因此使用 HtmlUnit 获得结果可能会更快，就像这个问题的一些答案中解释的那样：How to programmatically access web page in java

【讨论】：