有没有办法抓取所有 facebook 粉丝页面并收集一些信息？例如抓取 facebook 粉丝页面并保存他们的名字，或者有多少粉丝等？ 或者至少，您是否暗示过如何做到这一点？
【问题讨论】：
标签： php facebook web-crawler
编写一个爬虫。
我用可口可乐的页面做实验：http://www.facebook.com/cocacola?v=wall
解析“Fans” div，其中包含“All Fans”链接。在您的网络浏览器中查看源代码，它看起来像这样： /social_graph.php?node_id=40796308305&class=FanManager
将其转换为 facebook URL 并抓取它： http://www.facebook.com/social_graph.php?node_id=40796308305&class=FanManager
解析出粉丝，然后解析出“下一页”链接。
重复，令人作呕。
限制您的请求，以免 Facebook 将您列入黑名单。
【讨论】：
首先选择一个包含所需页面类别的页面：
例如： http://www.facebook.com/pages/ 或 http://www.facebook.com/pages/?browse&ps=93
然后使用爬虫获取所有页面链接。
现在您可以使用提取的链接分别解析每个页面。
你可以使用simple html dom进行爬取。
【讨论】：
下载并运行 websphinx jar。在 Starting URLs 中输入 http://www.facebook.com/pages/ 并选择子树作为 Crawl。不要忘记增加页面大小和页面超时值。线程数越高 (100-200) 越有可能成功爬取更多页面。
【讨论】：