【问题标题】:Can Kafka API be used in a Spark RDD?Kafka API 可以在 Spark RDD 中使用吗?
【发布时间】:2016-06-10 03:29:02
【问题描述】:

我想从 spark 写到 kafka 主题。我不想使用它的 scala api,因为我不想混合代码(java + scala)。使用kafka自己的API可以做到这一点吗?有什么缺点吗?

谢谢!

【问题讨论】:

    标签: java apache-spark apache-kafka


    【解决方案1】:

    我邀请您查看spark-kafka-writer,这似乎解决了您想做的事情。

    【讨论】:

    • 感谢您的回答。我知道 cloudera 的 spark-kafka-writer,但我想知道使用 Kafka 自己的 API 意味着什么以及这样做的缺点是什么。
    • 我不确定你的意思。如果这被认为是一个缺点,那么每个执行者将至少有一个生产者..
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-07-30
    • 1970-01-01
    • 1970-01-01
    • 2014-01-22
    • 2019-10-04
    • 2016-03-06
    相关资源
    最近更新 更多