【问题标题】:How can I approximately calculate the Solr index size如何近似计算 Solr 索引大小
【发布时间】:2017-04-19 21:20:45
【问题描述】:

如何近似计算使用 solr 创建的索引大小(内存使用量)?我知道计算中有很多变量,但只是关于它需要 10GB 还是 10MB。

例如,我有 1000 个文档,字段只有 idtext,并且想确定字段类型是字符串还是 text_general。如果我添加另一个字段,大小将如何变化。

也许,如果有人能如此感激并在这里写一些关于真实索引的统计数据。

【问题讨论】:

  • 索引大小与内存使用不同。索引大小是 Solr 索引占用的磁盘空间,而内存使用量取决于许多不同的因素,具体取决于您的查询和索引操作。
  • 确定text 是字符串还是 text_general 字段取决于您的查询要求。 string 将比任何 text 类型需要更少的空间,因为它在没有任何分析的情况下逐字存储值。

标签: solr


【解决方案1】:

Solr 索引大小取决于许多因素

  1. 定义的字段数
  2. 这些字段的配置,索引或存储的位置。存储字段通常会导致索引增长
  3. 为字段定义的类型和字段类型。例如字符串字段作为一个整体存储。但是,文本字段将根据对字段执行的分析类型生成多个标记。例如边缘 gram、ngram、同义词等会导致生成多个标记,如果存储将保留在索引中。
  4. 您正在索引的字段的内容。如果生成的令牌更常见且不是唯一的,那么您的索引会很小,因为 Lucene 将令牌字典分开存储,并且只有指向文档中令牌的指针。
  5. 对于索引大小而言,维护位置可能非常昂贵,因此如果不使用位置,请避免使用它

还有更多。

【讨论】:

  • 是否有任何工具可以计算每个索引大小/总索引大小?
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-11-07
  • 2021-10-09
  • 2022-08-12
  • 2011-02-28
  • 2022-04-22
相关资源
最近更新 更多