【问题标题】:Titan Mixed index backed by ES does not have committed dataES 支持的 Titan 混合索引没有提交数据
【发布时间】:2014-10-13 14:44:33
【问题描述】:

我在 Titan db (v0.5) 中批量加载数据。我有弹性搜索(v1.2.1)支持的混合索引。我正在加载大约 400k 相同标签的顶点,并且可以在 Titan db 中看到这些顶点,但是当我使用混合索引在 ES 中查询时,我看不到那么多。在这 400k 中,我几乎看不到 50k 多一点。

在加载时,我没有任何来自 ES 的错误。这种 ES 索引中缺失数据的行为,我在早期加载时也随机注意到。

我想知道是否有人也遇到过这个奇怪的问题。与Titan+ES打交道的人,你们有没有在ES中看到这种数据丢失?

【问题讨论】:

  • 这里有一些“健全性检查”问题。您在查询之前确定要提交吗?此外,ES 人口具有固有的延迟。查询 ES 之前是不是稍等片刻?
  • 提交是,否则我的加载后审核会引发错误。它匹配来自输入文件的数据加载计数和加载到数据库中的数据。但是在从 ES 查询期间没有应用手动延迟。我需要考虑这个延迟方面吗?我可以延迟一秒(虽然会增加加载时间)
  • 尝试添加延迟。如果它有效,那么我将提交一个答案并解释原因。酷吗?
  • 肯定会放弃,明天会回来
  • @BobB 这工作得很好。我延迟了一秒。除此之外,我还更改了用于连接 Cassandra 的库(这与我遇到的其他问题有关)。我之前使用的是 thrift,现在我使用的是 netflix'x astyanax。

标签: indexing titan


【解决方案1】:

默认情况下,每个分片每秒自动刷新一次。这就是为什么我们说 Elasticsearch 具有近乎实时的搜索功能:文档更改无法立即搜索到,但会在一秒钟内变得可见。

http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/near-real-time.html

【讨论】:

    猜你喜欢
    • 2016-09-08
    • 2016-08-09
    • 2016-10-20
    • 2016-06-20
    • 2016-11-12
    • 1970-01-01
    • 2015-04-26
    • 2015-01-15
    • 2012-12-08
    相关资源
    最近更新 更多