Elasticsearch 中的分析

Question

我正在处理事件分析，我使用 hadoop 处理日志并将一些结果存储在 Mysql 中。由于日志每天都在不断出现，因此由于可扩展性问题，这现在不起作用。

我们需要显示每年、每月、每周、每天、每小时的统计数据以及过滤功能 我们的样本可以增长到 10 万用户，每个用户每小时使用 20 个网站
100,000（用户）* 20（唯一网站）* 2（位置）* 24（小时）= 96,000,000（每天最多 9600 万条记录）

我们的表格看起来像
event_src_id、时间、用户、网站、位置、一些统计数据

一些查询示例是

1) select website, sum(stats), count(distinct(user_id)) from table group by website;
2) select website, sum(stats), count(distinct(user_id)) from table where YEAR(Time) = 2009 group by website, MONTH(Time);
3) select website, sum(stats), count(distinct(user_id)) from table group by website where event_src_id=XXXXXXXXXXX;
4) select website, sum(stats), count(distinct(user_id)) from table group by website where time > 1 jan 2014 and time <=31 jan 2014;
5) select website, location, sum(stats), count(distinct(user_id)) from table group by website, location;
6) select website, sum(stats) as stats_val from table group by website order by stats_val desc limit 10;
   select location, sum(stats) as stats_val from table group by location order by stats_val desc limit 10;
7) delete from table where event_src_id=XXXXXXXXXXX; (may delete all 96M records)

我尝试了 Hadoop 弹性搜索，它似乎可以修复插入部分，我更担心阅读部分。 聚合框架似乎给了一些希望，但我无法按照查询一工作。如何同时分组和求和和区分？ 我如何才能最好地将 Elasticsearch 与 Hadoop 结合使用，并为基于 OLAP 的查询提供给定的可扩展性和性能。 任何帮助将不胜感激。

Answer 1

首先，我认为将 ElasticSearch 用于类似 OLAP 的查询并不是一个好主意。我建议您使用一些支持您指定的 sql 的类似 Dremel 的技术（Impala、TEZ、Storm 等）。它有一些优点，例如：

• 您不必将数据从 Hadoop 传输到 ElasticSearch。
• 你可以使用sql
• 您不必关心从 ElasticSearch 查询答案中解析 json。

不要误会我的意思，我喜欢 ElasticSearch/Logstash/Kibana，但用于日志收集和可视化。当然可以进行一些高级查询，但是我在个人项目中发现了一些限制。

另外考虑使用 Kibana，它是 ElasticSearch 中数据统计的绝佳工具，你可以用它做很多事情。

以下是您要求的一些查询示例（我没有测试过）：

1)

{
  "aggs": {
    "website": {
      "terms": {
        "field": "website"
      },
      "aggs": {
        "sum_stats": {
          "sum": {
            "field": "stats"
          },
          "aggs": {
            "distinct_user": {
              "cardinality": {
                "field": "user_id",
                "precision_threshold": 100
              }
            }
          }          
        }
      }
    }
  }
}

2-6 是相似的，使用 1) 中的东西和不同的filters 像这样：

{
  "aggs": {
    "your_filter": {
      "filter": {
        "term": {"event_src_id" : "XXXXXXXXXXX"}
      }
    },
    "aggs": {
      "website": {
        "terms": {
          "field": "website"
        },
        "aggs": {
          "sum_stats": {
            "sum": {
              "field": "stats"
            },
            "aggs": {
              "distinct_user": {
                "cardinality": {
                  "field": "user_id",
                  "precision_threshold": 100
                }
              }
            }
          }
        }
      }
    }
  }
}

7) 删除​​很简单

    "query" : {
        "term" : { "event_src_id" : "XXXXXXXXXXX" }
    }
}

Answer 2

如何同时分组、求和和区分

聚合可以有sub-aggregations。

首先，组功能对应于terms aggregation 和（有时）top_hits aggregation。 其次，有一个sum aggregation，一个简单的统计指标聚合。 最后，在这种情况下，您使用 distinct 是执行 count(distinct)，它对应于 cardinality aggregation，根据您的需要可以是近似值或精确值。

7) 从表中删除 event_src_id=XXXXXXXXXXX; （可能会删除所有 96M 记录）

您可以使用delete by query api，但请注意删除文档的百分比很高； Lucene 和 Elasticsearch 并未为此进行优化，您会因删除数据中的标记而产生开销。

示例

按网站从表组中选择网站、sum(stats)、count(distinct(user_id))

GET /_search
{
   "aggs": {
      "website_stats": {
        "terms": {
           "field": "website"
        },
        "aggs": {
           "sum_stats": {
             "sum": {
               "field": "stats"
             }
           },
           "count_users": {
             "cardinality": {
               "field": "user_id"
            }
          }
        }
      }
   }
}

select website, sum(stats), count(distinct(user_id)) from table where YEAR(Time) = 2009 group by website, MONTH(Time)

GET /_search
{
   "query": {
     "filter": {
       "range": {
           "Time": {
              "gt": "2009-01-01 00:00:00",
              "lt": "2010-01-01 00:00:00"
           }
       }
     }
   },
   "aggs": {
      "monthly_stats" {
        "terms": {
           "field": "website"
        },
        "aggs": {
           "months": {
              "date_histogram": {
                "field": "Time",
                "interval": "month"
              },
              "aggs" : {
                "sum_stats": {
                  "sum": {
                    "field": "stats"
                  }
                },
                "count_users": {
                  "cardinality": {
                    "field": "user_id"
                }
              }
            }
          }
        }
      }
   }
}