【问题标题】:How to perform nested aggregation on multiple fields in Solr?如何对 Solr 中的多个字段执行嵌套聚合?
【发布时间】:2013-10-06 08:55:03
【问题描述】:

我正在尝试以嵌套方式按多个字段执行搜索结果聚合(计数和总和)分组。

例如,使用本文末尾显示的架构,我希望能够获得按“类别”分组并按“子类别”进一步分组的“大小”总和,并得到类似这个:

<category name="X">
  <subcategory name="X_A">
    <size sum="..." />
  </subcategory>
  <subcategory name="X_B">
    <size sum="..." />
  </subcategory>
</category>
....

我主要关注 Solr 的 Stats 组件,据我所知,它不允许嵌套聚合。

如果有人知道使用或不使用 Stats 组件的某种方式来实现这一点,我将不胜感激。

这是目标架构的精简版:

<types>
  <fieldType name="string" class="solr.StrField" />
  <fieldType name="text" class="solr.TextField">
    <analyzer><tokenizer class="solr.StandardTokenizerFactory" /></analyzer>
  </fieldType>
  <fieldType name="date" class="solr.DateField" />
  <fieldType name="int" class="solr.TrieIntField" precisionStep="0" omitNorms="true" positionIncrementGap="0" />
</types>

<fields>
  <field name="id" type="string" indexed="true" stored="true" />
  <field name="category" type="text" indexed="true" stored="true" />
  <field name="subcategory" type="text" indexed="true" stored="true" />
  <field name="pdate" type="date" indexed="true" stored="true" />
  <field name="size" type="int" indexed="true" stored="true" />
</fields>

【问题讨论】:

    标签: java solr lucene indexing datastax-enterprise


    【解决方案1】:

    1.计数

    要获得计数,您可以使用Pivot Faceting。它将生成一个与您所要求的非常相似的列表,但仅包含计数。

    您需要将此附加到您的查询中:

    &facet=true&facet.pivot=category,subcategory

    请注意,这适用于 Solr 4.0 及更高版本。


    2。总和

    至于总和,我认为您可以使用普通构面来实现它们,但使用构面查询而不是构面字段。我不完全确定这一点,如果找到我会尝试并重新发布任何有用的东西。

    【讨论】:

      【解决方案2】:

      有一个补丁SOLR-3583,它通过使用范围分面内部结构为分面、枢轴分面和分布式枢轴分面添加百分位数和平均值。通过改进此补丁,可以将总和添加到枢轴分面。

      例如,可以使用此 url 计算类别的平均值:

      http://localhost:8983/solr/select?q=*%3A*
      &facet=true
      &facet.pivot=category,subcategory
      &facet.stats.percentiles=true
      &facet.stats.percentiles.averages=true
      &facet.stats.percentiles.field=size
      &f.size.stats.percentiles.requested=25,50,75
      &f.size.stats.percentiles.lower.fence=0
      &f.size.stats.percentiles.upper.fence=1000
      &f.size.stats.percentiles.gap=10
      

      有关详细信息,另请参阅this video and slides

      【讨论】:

      • 找不到链接的页面
      【解决方案3】:

      Solr 5.1 中新的 faceting 模块可以做到这一点,它是在https://issues.apache.org/jira/browse/SOLR-7214 中添加的

      这是您如何将 sum(size) 添加到每个构面桶,并按该统计数据降序排序。

      json.facet={
        categories:{terms:{
          field:category,
          sort:"total_size desc",  // this will sort the facet buckets by your stat 
          facet:{
            total_size:"sum(size)"  // this calculates the stat per bucket
          }
        }}
      }
      

      这就是您在子类别中添加子方面的方式:

      json.facet={
        categories:{terms:{
          field:category,
          sort:"total_size desc",
          facet:{
            total_size:"sum(size)",
            subcat:{terms:{ // this will facet on the subcategory field for each bucket
              field:subcategory,
              facet:{
               sz:"sum(size)"  // this calculates the sum per sub-cat bucket          
            }}
          }
        }}
      }
      

      因此,以上内容将为您提供类别和子类别级别的总和(大小)。新方面模块的文档目前位于http://yonik.com/json-facet-api/

      【讨论】:

        最近更新 更多