我需要一些关于德鲁伊和元市场的建议

Question

我需要一种存储日志（或多或少遵循例如 10 种标准格式之一）的解决方案，最好是实时存储在数据库中，该数据库可以快速查询并且可以轻松地将结果提供给各种有线查询。例如。在文本正文中查找关键字的查询，涉及多个表的查询。

向我推荐的一个解决方案是 MetaMarket，它似乎可以使用风格非常好的查询系统进行实时日志记录。但是我不确定成本以及是否需要如此复杂的解决方案。

据我了解，metamarket 的“卖点”是 druid db，并且说 db 是开源的，可以部署在他们的堆栈之外。所以我来这里要问的是：

你们有没有使用 Druid 部署实时日志系统的经验？有多难？花了多长时间 ？有哪些挑战？除了德鲁伊，你还使用了哪些其他技术？你有什么推荐的读物吗？

你们有没有使用过元市场的经验。如果是这样，那么它有多难？花了多长时间 ？有哪些挑战？一旦投入生产，成本如何？你有关于这个主题的推荐读物吗？

另外，额外的问题：“公正的专业人士”实际上是否对 druid 做过任何基准测试？用 Java 编写实时实时输出数据库的事实似乎有点……啊，难以置信。

Answer 1

这是一个快速的答案。 确实 druid 是开源的，但是这里缺少的链接是一个很好的 UI，可以很好地与 druid 配合使用。曾经有一个 UI 被称为 caravel，现在是超集，我想它可以做得很好。 关于运行 druid 集群，如果您有足够的资源（例如工程师）来放置从打包到在机器/云上部署 druid 的所有管道，那么它应该不会那么难。 最后一部分是监控/更新集群，它也需要大量的工作。 是的，它是使用 JAVA 编写的，但许多其他实时软件就是这种情况，以 KAFKA 为例，实际上 druid 做了很多堆外操作并使用内存映射文件来提供数据。阅读white paper 将提供对系统的良好/基本理解，因此您可以找到德鲁伊是否适合的答案。