使用哪种策略来设计日志数据存储？

Question

我们想设计一个数据存储，使用关系数据库保存请求消息（http/s，xmpp 等）日志。为了生成日志，我们使用基于 Apache synapse esb 的解决方案。但是，由于我们只想存储日志并读取日志以解决维护问题，因此读/写比率会很低。 （写入计数会很密集，因为系统会收到许多要记录的消息。）我们考虑使用 Cassandra 的分布式特性和集群功能。然而，对于 Cassandra 数据库模式，带有过滤器的搜索查询很困难，总是需要二级索引。

为了简短起见，我的问题是我们是否应该尝试使用 mysql 的集群解决方案或使用具有合适架构设计的 Cassandra 来进行带有过滤器的搜索查询？

Answer 1

如果您希望对半结构化或非结构化数据进行实时分析，您可以使用 Cassandra + Hadoop 集群。由于 Cassandra wiki 本身建议使用 Datastax Brisk 版本，用于这种架构。值得一试

另一方面，如果您希望对少量数据的原始日志进行实时查询。前任。

select useragent from raw_log_table where id='xxx'

那么你应该对你的行键和列键设计做大量的研究。因为这决定了查询的复杂性。最好看看这里的人的案例研究http://www.datastax.com/cassandrausers1

问候， 泰米尔语