【发布时间】:2015-11-12 17:45:46
【问题描述】:
我正在使用 Spark 的 Twitterutils 库来处理 Twitter。然而,我平均每秒只有 60 条推特,而每秒的推特数量肯定要多得多。因此,TwitterUtils 库似乎没有捕获所有推特。有什么解决办法吗?
【问题讨论】:
标签: scala apache-spark bigdata spark-streaming
我正在使用 Spark 的 Twitterutils 库来处理 Twitter。然而,我平均每秒只有 60 条推特,而每秒的推特数量肯定要多得多。因此,TwitterUtils 库似乎没有捕获所有推特。有什么解决办法吗?
【问题讨论】:
标签: scala apache-spark bigdata spark-streaming
这与 Spark 的库无关,但与 Twitter 对流的限制有关。如果您使用公共 Twitter 流,您将被限制为全球流量的 1%,即大约 60 条推文/秒。
如果您想要无限制访问,您需要订阅付费服务,例如 Twitter 子公司 Gnip (http://www.gnip.com)。
【讨论】: