【问题标题】:camus or gobblin which is preferable加缪或妖精哪个更可取
【发布时间】:2018-02-04 12:25:20
【问题描述】:

能否请您帮助我设置 camus 或 gobblin 以将来自 Kafka 的消息存储在 HDFS 中。一个工作示例可能会很棒。

地精仍处于孵化阶段,加缪已被淘汰。那么哪个更适合使用呢。

我下载了 gobblin 并运行 gobblin-standalone.sh start 但我得到了错误

环境变量 GOBBLIN_JOB_CONFIG_DIR 未设置! .

【问题讨论】:

  • 在 StackOverflow 上要求预先编写的代码并不是一个好习惯。如果您编写了一些代码并在遇到无法自行解决的问题时提出问题,您将获得更多帮助。
  • 我下载了 gobblin 并运行 gobblin-standalone.sh start 但我收到错误 Environment variable GOBBLIN_JOB_CONFIG_DIR not set! .你能从这里帮助我吗?
  • 如果您了解环境变量是什么,则错误消息一目了然

标签: hadoop apache-kafka hdfs camus gobblin


【解决方案1】:

适用于 HDFS 的 Confluent Kafka Sink 连接器是首选,因为它取代了 Camus,支持最新版本的 Apache Kafka,得到积极维护,并且是开源的。

http://docs.confluent.io/current/connect/connect-hdfs/docs/index.html

【讨论】:

    猜你喜欢
    • 2012-10-27
    • 1970-01-01
    • 2012-06-12
    • 2013-11-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-09-13
    • 1970-01-01
    相关资源
    最近更新 更多