【问题标题】:Does Spark's TwitterUtils library captures all the twitters?Spark 的 TwitterUtils 库是否捕获所有推特?
【发布时间】:2015-11-12 17:45:46
【问题描述】:

我正在使用 Spark 的 Twitterutils 库来处理 Twitter。然而,我平均每秒只有 60 条推特,而每秒的推特数量肯定要多​​得多。因此,TwitterUtils 库似乎没有捕获所有推特。有什么解决办法吗?

【问题讨论】:

    标签: scala apache-spark bigdata spark-streaming


    【解决方案1】:

    这与 Spark 的库无关,但与 Twitter 对流的限制有关。如果您使用公共 Twitter 流,您将被限制为全球流量的 1%,即大约 60 条推文/秒。

    如果您想要无限制访问,您需要订阅付费服务,例如 Twitter 子公司 Gnip (http://www.gnip.com)。

    【讨论】:

    • 这太糟糕了。然而,现在我现在的理由。谢谢你告诉:)。知道这些付费服务的成本是多少吗?
    • 是的,但可能比您愿意支付的更多! ;) 最好直接联系 Gnip....
    猜你喜欢
    • 2016-07-15
    • 1970-01-01
    • 1970-01-01
    • 2014-09-24
    • 1970-01-01
    • 2013-12-11
    • 1970-01-01
    • 2012-07-12
    • 1970-01-01
    相关资源
    最近更新 更多