Storm-Crawler 与 Cassandra 集成并在 Gradle 中构建拓扑

Question

我尝试在我的项目中实现 Storm-Crawler，但我需要使用 Cassndra 和 Gradle。我对 Storm-Crawler 和 ElasticSearch 堆栈很感兴趣，但在这种情况下，我不得不使用这个解决方案。我尝试了几次用 gradle 构建 uber jar，但没有成功。有人在 gradle 中构建 Storm-Crawler 拓扑吗？我将 Apache-Storm 配置为使用 Cassandra，但如何将数据从 Strom-Crawler 放入 Cassandra？

Answer 1

恐怕对 Gradle 无能为力，但对于 Cassandra 部分：您是想将文档的内容和元数据存储在其中，还是也将其用于存储有关 URL 的信息（与状态索引一样）在 ES 中）？对于前者，实现您自己的扩展 AbstractIndexerBolt 的索引器，对于后者，您需要一个状态更新器和 spout，这有点复杂。