我应该使用什么技术来流式传输推文和分析？答案

【问题标题】：What technology should i use for streaming tweets and analysis?我应该使用什么技术来流式传输推文和分析？
【发布时间】：2017-11-09 00:04:55
【问题描述】：

我需要从 twitter API 流式传输实时推文，然后对其进行分析。我应该使用 kafka 来获取推文或直接触发流式传输，还是两者兼而有之？

【问题讨论】：

【解决方案1】：

您可以使用 Kafka Connect 来摄取推文，然后使用 Kafka Streams 或 KSQL 来分析它们。在这里查看this article，它正是描述了这一点。

【讨论】：

tweets 的大小不是太高所以我可以直接使用 spark 流媒体？不？或者我必须使用 kafka 来提高耐用性？
如果您使用的是 Kafka，那么使用 Kafka Streams 或 KSQL 会使集成变得更加简单。您可以根据需要使用 Spark Streaming - 这取决于您。
对于那些不赞成这个答案的人：请发表评论，以便我了解什么是无用/不合适的。

【解决方案2】：

根据您选择的语言，我将使用此处列出的库之一：https://developer.twitter.com/en/docs/developer-utilities/twitter-libraries。无论您选择哪种方式，您都将在 Twitter API 中使用 statuses/filter，因此请熟悉此处的文档：https://developer.twitter.com/en/docs/tweets/filter-realtime/api-reference/post-statuses-filter.html

【讨论】：