【问题标题】:Documents missing in ElasticsearchElasticsearch 中缺少文档
【发布时间】:2014-07-07 04:16:24
【问题描述】:

我正在使用弹性搜索0.90.10。使用 mongodb river 我从 mongodb 索引了文档。初始加载和索引工作正常。但经过一段时间后,文档数量开始逐渐减少(丢失文档)。我用的是mongodb-river版本1.7.4

这些是我的 elasticsearch.yml 中的配置。

集群属性

cluster.name: 192.168.31.50:9300
index.store.type: niofs
node.max_local_storage_nodes: 1
transport.tcp.port: 9300
http.port: 9200
path.logs: /home/test/Test/scripts/../logs/search
discovery.zen.ping.multicast.enabled: false

搜索池

threadpool.search.type: fixed
threadpool.search.size: 5
threadpool.search.queue_size: 200

大容量池

threadpool.bulk.type: fixed
threadpool.bulk.size: 5
threadpool.bulk.queue_size: 300

索引池

threadpool.index.type: fixed
threadpool.index.size: 5
threadpool.index.queue_size: 200

指数设置

indices.memory.index_buffer_size: 30%
indices.memory.min_shard_index_buffer_size: 12mb
indices.memory.min_index_buffer_size: 96mb

缓存大小

indices.fielddata.cache.size: 15%
indices.fielddata.cache.expire: 6h
indices.cache.filter.size: 15%
indices.cache.filter.expire: 6h

写入的索引设置

index.refresh_interval: 30s
index.translog.flush_threshold_ops: 50000

这些配置导致我的生产环境中的文档丢失。我可以做些什么来查明确切的问题?

提前致谢!

【问题讨论】:

  • @javanna 请调查一下并帮助我..!
  • 我的 jdbc-river 也有同样的问题。我不确定它是否与JVM堆大小有关。

标签: mongodb elasticsearch search-engine


【解决方案1】:

是否可以设置 ttl 属性?这是我唯一听说过的“删除”文档。

http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/mapping-ttl-field.html

【讨论】:

  • 绝对不是..我检查了所有可能性:(
猜你喜欢
  • 1970-01-01
  • 2022-01-23
  • 2021-08-22
  • 1970-01-01
  • 2014-05-03
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多