Twitter流API：带宽是否有限？

Question

我想流式传输所有 twitter 推文（是的，我疯了），以便进行一些统计。 我没有特别的权限，我只是一个普通的推特用户。 首先，我只是在测试是否可行：我在我的服务器上运行，它有 100 Mbs 带宽（我检查了它是真的）， 我运行这个命令：

curl -d 'track=http' http://stream.twitter.com/1/statuses/filter.json -umyuser:mypasswd | grep 'xxxxxx'

我放了“grep”只是为了不显示推文，并且由于在屏幕上显示文本而没有限制。 然后我使用“dstat”检查使用的带宽：一直限制在 128KB/s（即只有 1Mbs）。由于一条推文的重量约为 2K，看来我每秒只能流式传输大约 64 条推文……远低于现实（我相信超过 1000 条推文/秒……）。 事件如果我在曲目列表中添加一些常用词，带宽被卡在 128KB/s。

你有什么想法来获得完整的流媒体吗？

Answer 1

除非您被授予权限，否则您无法访问完全未计量的firehose 流。只需基本权限，您将被降级为您现在正在做的事情，使用filter，或使用sample（这将提供大约 1% 的 Twitter 推文量。）

您可以尝试通过询问 Twitter 来获得更高的访问权限，但他们似乎不会授予更高的权限，除非您可以很好地证明您的用例是合理的。