【问题标题】:Extract data from forum从论坛中提取数据
【发布时间】:2013-02-26 08:34:44
【问题描述】:

我想根据我输入的关键字从 php 论坛中提取数据。 有没有准备好可以做到这一点的东西? 只是举个例子 Kadinlarkulubu.com/forum.php 关键词 ios, android

感谢此信息,我想获取日期、时间、消息、消息的 URL、消息中的关键字、写此消息的成员的昵称。

我需要在不同的论坛工作,所以我需要一个或多个可以在 vBulletin 等主要大型平台上运行的工具。

【问题讨论】:

  • 我认为答案是否定的,但只是为了确保:您是否有权访问论坛的数据库?

标签: php forum vbulletin


【解决方案1】:

您需要创建自己的web crawler。如果您希望它在各种不同的平台上工作,则必须在该爬虫上创建变体。

首先,选择您最喜欢的论坛,并给它一个种子页面(开始抓取的页面)。小心行事,因为您可能需要登录才能查看帖子,如果是这种情况,这可能并不容易(例如,制作一个让您登录并破坏验证码的爬虫)。您还可以使用搜索功能(因为许多论坛都有类似于 ?q=your_tag&p=1 的搜索 URL,这可以让事情变得更容易。

只要检查你是否在同一个域上,并且你没有进入无限循环,除此之外,你应该没问题。

预计这是一个长期项目:)

如果论坛提供 API,另一种方法是使用 API,但我怀疑你会这么幸运。

【讨论】:

    【解决方案2】:

    2 种方式 只有当论坛的所有者为您提供对论坛 API(如果有)或数据库的访问权限时,这种简单的方法才可能实现

    最难的方法是制作一个抓取器,逐页读取论坛并将您喜欢的信息解析为您可以使用的东西。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-11-02
      • 2022-11-03
      • 2023-02-22
      • 1970-01-01
      • 2011-07-27
      • 2016-04-14
      • 1970-01-01
      相关资源
      最近更新 更多