【问题标题】:Reading IBM MQ into Hadoop将 IBM MQ 读入 Hadoop
【发布时间】:2017-01-31 05:04:35
【问题描述】:

我有 HDP2.1 集群。我想将 IBM MQ 中的数据直接导入 Hadoop,探索可以为我完成此任务的工具

哪种工具在性能和生产层面上会更好? 我检查了水槽(JMS 源),但不确定是否可以在生产级别工作。

根据http://hortonworks.com/blog/discover-hdp-2-2-apache-kafka-apache-storm-stream-data-processing/,Storm 无法很好地连接到 IBM MQ

还有其他我可以使用的生产级工具吗?

【问题讨论】:

    标签: hadoop ibm-mq apache-storm flume


    【解决方案1】:

    IBM Streams 可以很容易地做到这一点。该产品附带两个工具包来执行此操作:

    1) streamsx.messaging (http://ibmstreams.github.io/streamsx.messaging/) - 该工具包提供了一个 JMSSource 操作符,用于从 Websphere MQ 读取数据

    2) 流x.hdfs (http://ibmstreams.github.io/streamsx.hdfs/)

    您可以像这样构建一个 Streams 应用程序:

    JMSSource -> 一些处理 -> HDFS2FileSink

    有关 IBM Streams 的更多信息,您可能需要查看此站点: http://ibmstreams.github.io/

    希望这会有所帮助。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2023-03-21
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2016-10-06
      相关资源
      最近更新 更多