Storm 拓扑中的 Solr 索引与 Hbase NG Indexer

Question

我正在努力将数据索引功能设计到 Solr 中。我们正在使用 Storm Topology 并有一个 Hbase Bolt，它将数据添加到 Hbase 中。要求是我们添加到 Hbase 中的任何数据也需要被索引。

以下是选项：

1. 将代码添加到 Solr 中的索引，在 Hbase bolt 本身中。
2. 新建一个bolt，分离Solr索引
3. 使用 Hbase ND 索引器，并将 Solr 索引器与 Hbase 行插入集成。

前两个选项，类似于事务，表示 Hbase 和 Solr 或无。但不确定是否可以这样做，因为我们正在处理大规模数据。

对于第三个选项，起点是 Hbase，因此假定所有数据都在其中。但是，我们无法完全控制调试，因为我们必须将 jar 部署到 Indexer 环境中。

请帮帮我，哪种设计更可取。

Answer 1

经过一些分析，我们继续使用 NGHbas 索引器实现了设计。一个论点是，我们无法保证 hbase 和 solr 中的数据相同，因为我们无法处理大规模事务。我们也有类似的流数据设计。所以利用了设置