【问题标题】:Jsoup web page parsing - how to avoid ban?Jsoup网页解析——如何避免ban?
【发布时间】:2012-09-07 14:24:18
【问题描述】:

我有一个简单的 android 应用程序,它定期使用 Jsoup 解析一些网页。还有我的问题:

1) can admins detect me? how?
2) how to avoid to be banned? 

我尊重礼貌,所以我只设置每 2 小时一次的解析间隔,但是用户可以随时请求手动刷新/解析 - 但这应该每天只发生几次,而且为了避免太大的流量,我已经实现了 10 分钟缓存(因此最大可能的解析间隔是每小时 6 次)。这够了吗?如果我的应用会下载 1000 个用户,他们会阻止我吗?

PS:我没有解析包含子页面的完整页面,只有 1 个大小为 cca 50-100kb 的 html 文件。

【问题讨论】:

  • 管理员只能通过IP禁止你。更改IP以避免被禁止
  • 但问题是,如何尽可能隐蔽(不引起注意被禁止)?我不想让我的应用程序无法运行,直到用户在禁令后再次重新连接到网络。有什么好的建议吗?
  • 未授权用户(访客)是最大的隐秘情况。
  • 所以你是说,即使我的应用程序将下载 1000 个用户,最大解析间隔为 10 分钟,它(几乎)不可能透露给我?
  • Jsoup 不接受任何授权。他们不会透露你

标签: android html-parsing jsoup


【解决方案1】:

由于应用程序运行在具有许多不同 IP 地址的许多不同设备上,它们只能检测到单个用户,而不是作为开发人员的您。我认为那里的网站应该能够毫无问题地处理这么多请求。你没有做任何普通用户可能不会做的事情......

【讨论】:

    猜你喜欢
    • 2014-11-28
    • 2013-10-22
    • 2023-03-18
    • 1970-01-01
    • 2015-07-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多