使用移动 Web 应用程序进行 Web 抓取？答案

【问题标题】：Web Scrape with a Mobile Web App?使用移动 Web 应用程序进行 Web 抓取？
【发布时间】：2014-06-18 07:51:49
【问题描述】：

我最近创建了一个原生 Android 应用程序，它的一个功能是使用 jsoup 从网站上的 HTML 表中提取一些统计信息/数据，将其格式化为 csv，最后将数据推送到二维数组中。该表每周更新一次，因此这种数据提取经常发生，我不想手动操作。它工作得很好，但我现在想创建一个移动网络应用程序，这样它就可以是跨平台的，而不仅仅是 Android。是否可以在移动 Web 应用程序中仅使用 Javascript、CSS 和 HTML5 来实现相同的功能？感谢您的帮助

【问题讨论】：

标签： javascript android ios html jquery-mobile

【解决方案1】：

如果我正确理解了您的问题，您将希望在您的网络服务器上制作一个 API，以提供您想要从数据库中获取的信息。

有很多很多方法可以做到这一点。我个人的偏好是使用 PHP 手工制作，但就像我说的那样，有几种方法可以做到这一点，而无需重新创建轮子。

你可以使用像Codeignitor这样的库

或者你可以使用Kimono这样的服务

无论如何，它必须是一个 API，最好以 JSON 对象的形式提供该数据。

然后，您可以通过 jQuery、Javascript、Backbone.js 或 Angular.js 使用该数据（到视图/模板/html 中）...任您选择。

【讨论】：

我对此有点陌生，但看起来你让它比实际复杂一点。我没有使用任何类型的数据库，只是从站点读取原始 HTML 并从表中提取表行并将值存储在数组中。
好的，所以您使用 jsoup 作为您的 API 来进行抓取。所以你的问题的答案是肯定的。你可以只使用 JS、HTML、CSS 来做到这一点，没问题。如果你不熟悉如何。您可能会考虑使用像 jQuery 这样的库。它是用来执行诸如此类的 AJAX 调用，然后将它们格式化为漂亮的小对象，您可以在常见的网页格式中公开和使用。
感谢您的帮助。我对 jQuery 有点熟悉，但没有做任何类型的网页抓取或 AJAX 调用。肯定会尝试一下并做更多的研究。您认为将其存储在数据库中会更容易吗？这是一个非常小的表，每周只有 8 行更新。不过我对后端开发缺乏经验。
我会使用数据库，因为它是工作中最有效、最便携的工具。