何时使用 Hadoop，何时使用 ElasticSearch 进行分组/分面？

Question

我已经下载了我的收件箱，并且正在使用 Pig 和 Hadoop 处理我的电子邮件。我使用 Pig 和 Wonderdog 在 ElasticSearch 中索引这些电子邮件。

现在我正在为收件箱中的每个电子邮件地址创建一个网页，以显示这些地址发送的邮件。

我可以通过两种方式做到这一点：

1) 在 Pig 中按电子邮件地址分组，存储到 MongoDB（或 ElasticSearch）。

2) 使用 facets 查询 ElasticSearch 以从电子邮件索引中为我返回此列表。

哪个是首选答案，它取决于什么？

Answer 1

选项 1 - 在 Pig 中按电子邮件地址分组，存储到 MongoDB（或 ElasticSearch）：

您正在预先计算结果并存储到 MongoDB 或 ElasticSearch。如果数据很大并且不经常更新，这是一件好事。

选项 2 - 查询 ElasticSearch 以使用构面从电子邮件索引中为我返回此列表。

如果数据经常更新，即使是小型数据集，最好使用此选项，因为查询数据（在正确的字段上编制索引）会得到快速的结果，并且您不必依赖预处理。