【问题标题】:Building network graph from twitter users by subject按主题从 twitter 用户构建网络图
【发布时间】:2011-11-28 21:35:25
【问题描述】:

我正在尝试为提到特定主题的 Twitter 用户构建社交网络图。我这样做的策略大致是这样的:

  1. 在 Twitter 上查询某个主题。收集出现的前 100 条推文,并将这些用户添加到图表中。
  2. 对于每个用户:
  3. 检索朋友和关注者。
  4. 查询每个朋友/关注者的主题。如果他们找到结果(意味着他们已经讨论过该主题),请将其添加到图表中。
  5. 对于添加到图表中的每个用户,返回到第 2 步,直到达到所需的搜索深度。

我的问题有两个。首先,这种方法很快超过了我的搜索 API 速率限制。即使搜索深度为 2,我也很可能会找到拥有 100 多个朋友/关注者的人,但在达到速率限制之前我无法全部查询。

其次,这一切都需要相当长的时间。 Twitter API 并不快。在我没有速率限制的假设事件中,我可以异步提交请求,但我不禁想知道是否有更有效的方法。

我尝试将请求聚合到每个搜索深度的一个查询中: 主题 AND from:name1 OR from:name2 .... OR from:namei

这基本上爆炸了。我从 twitter API 收到连接重置错误。如果我将查询复制到 twitter 网页中,它只会坐一会儿,然后说“加载推文似乎需要一段时间”。

我还发邮件到 api@twitter.com 寻求建议/增加访问权限,但目前没有回复。

如果有人对如何通过 twitter API 收集此类信息有任何建议,我将不胜感激。我目前正在使用 twitter4j 和 java。

【问题讨论】:

  • 我发现了一个页面,其中有人试图做与我正在做的事情类似的事情:babelgraph.org/wp/?p=120 他只浏览了对话图的最顶部而没有扩展搜索深度,并且已经达到了一定的速度限制问题。不是很有希望,但至少值得深思。
  • 以上来自@Alex 的链接已迁移至:gweissman.github.io/babelgraph/blog/2017/06/15/…

标签: java twitter graph social-networking twitter4j


【解决方案1】:

您是否尝试过仅对主题使用过滤流,并使用提及和转发来构建图表?这是相当间接的,并且仍然会很慢,但不会达到任何速率限制。

http://truthy.indiana.edu/http://cnets.indiana.edu/groups/nan/truthy

【讨论】:

  • 我最终做的是在给定的主题上搜索最近的海报。然后我选择其中的一小部分来构建以自我为中心的网络。现在我可以使用流 API 实时监控创建的网络。感谢您的意见和出色的链接!
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-11-11
  • 2013-08-25
  • 2013-08-21
  • 1970-01-01
相关资源
最近更新 更多