Roblox 论坛, Web Scraping App (Android) 问题

Question

我一直在等待一个想法，我想我终于有了一个。我将尝试使用 Web Scraping 制作一个 Android 应用程序，这将使我能够比现在更好地导航和使用 Roblox 上的论坛（如果你真的想查找的话，请访问 .com）。这些论坛不仅总体上很糟糕，而且在我的 Android 设备（三星 Galaxy Player）上更糟糕。谁能给我指点或建议？我不确定我应该使用哪些库...这是我第一次尝试编码 :)

哦，显然我想给它一个回复帖子的功能，但我不确定这种类型的登录如何工作......

编辑：我从这个应用程序中得到了这个想法：GooglePlay，Github

Answer 1

您应该查看如何从网站获取数据，并且您还应该确保您了解 html。您还需要一种简单的方式来处理 html。

• 获取页面（使用问题中的示例）：Read data from webpage
• 关于html的一点：http://www.w3schools.com/html/default.asp
• 处理html：http://jsoup.org/cookbook/extracting-data/dom-navigation

要登录，您应该使用登录信息向标准登录页面发送一个 post 请求，然后保留生成的 cookie 并将其与您的其他请求一起传递。

• 关于处理 cookie 的小知识：Java: Handling cookies when logging in with POST

您可能还想考虑一些事情：

• 论坛中帖子的线性或分支视图？
• 如果有人发布新帖子，您应该收到消息吗？
• 自己的搜索功能？
• 签名？

Answer 2

你必须使用java的JSOUP libaray，你可以通过这个库轻松解析html数据。示例：在 doc 对象中，您将获得完整的网页

File input = new File(url);
Document doc = null;
doc = Jsoup.connect(url).get();
Elements headlinesCat1 = doc.select("div[class=abc");