社交媒体监控网站如何获取大量用户帖子？答案

【问题标题】：How do the social media monitoring sites fetch the huge number of user posts?社交媒体监控网站如何获取大量用户帖子？
【发布时间】：2011-11-01 15:33:50
【问题描述】：

市场上有许多社交媒体监控网站。我很好奇这些网站如何获取如此大量用户的帖子。他们如何知道应该获取哪些用户的帖子？

例如，如果一个网站需要我使用我的 Facebook 帐户登录，它只是获取/分析我或我朋友的帖子。那将是合理的。但是我前几天试了几个社交媒体监控服务，发现数据量很大，包括各类用户。

服务如何知道他们应该获取哪些用户的数据？如果他们获取某个社交网站的所有帖子，他们是如何实现的？社交网站的 API 不是一直禁止应用获取大量数据吗？

【问题讨论】：

标签： social-media

【解决方案1】：

Social Radar 应用程序主要由爬虫驱动。这类似于 Google.com 搜索引擎的工作方式。

Google 并不真正担心他们正在抓取哪些用户的内容，他们只是将他们可以找到的内容编入索引。内容通常是在生态系统中构建的，所以如果你能找到对话的一部分，你通常也可以发现它的其余部分。这在垃圾邮件过滤过程中也是正确和有用的。

API 也被利用，术语因服务而异。

【讨论】：