如何将 Apache Storm 与 Solace 消息队列集成以接收来自 Solace 的消息 .. 就像 spark 流集成一样答案

【问题标题】：How to Integrate Apache Storm with Solace Message queue to receive messages from Solace .. just like spark streaming integration如何将 Apache Storm 与 Solace 消息队列集成以接收来自 Solace 的消息 .. 就像 spark 流集成一样
【发布时间】：2016-08-18 01:03:45
【问题描述】：

我想从Solace 队列接收消息，并希望通过 Apache Storm 将消息存储在任何数据存储中，例如 Hbase/HDFS。

Solace 已发布 integration guide 以设置自定义接收器，它将消息存储在 Spark 内存中。除了与 Apache Storm 的集成外，其他 integration guides 也可用。

我不确定这是否可能。如果是这样，如果他们已经这样做了，任何人都可以提供一些相同的指示（如果不能安慰其他消息传递提供者）吗？

【问题讨论】：

为什么要通过 Storm？ Flume 可以做你想写到 Hbase / HDFS 的事情
我们之前使用 Flume 的解决方案。使用 Hbase - AsyncHbaseSink 工作正常。我知道这可以用 Flume 来实现。我们还尝试使用带有安慰功能的 Spark Streaming，它工作正常。这个问题是 Storm 特有的，用于测试它是否工作。我们正在尝试更好的工具和技术

标签： integration apache-storm spark-streaming solace custom-receiver

【解决方案1】：

查看 Apache Storm 的文档，有两种方法可以解决这个问题。

通过 MQTT 集成 - https://storm.apache.org/releases/1.0.0/storm-mqtt.html
通过 JMS 集成 - https://github.com/ptgoetz/storm-jms

storm-jms 项目提供了一个 SpringJmsProvider，您可以在其中利用 Spring 框架（Solace 有一个集成指南）来查找 ConnectionFactory 和 Destination。

或者，您可以实现自己的org.apache.storm.jms.JmsProvider 以提供ConnectionFactory 和Destination，而无需Spring 框架。

【讨论】：