【发布时间】:2014-10-13 14:44:33
【问题描述】:
我在 Titan db (v0.5) 中批量加载数据。我有弹性搜索(v1.2.1)支持的混合索引。我正在加载大约 400k 相同标签的顶点,并且可以在 Titan db 中看到这些顶点,但是当我使用混合索引在 ES 中查询时,我看不到那么多。在这 400k 中,我几乎看不到 50k 多一点。
在加载时,我没有任何来自 ES 的错误。这种 ES 索引中缺失数据的行为,我在早期加载时也随机注意到。
我想知道是否有人也遇到过这个奇怪的问题。与Titan+ES打交道的人,你们有没有在ES中看到这种数据丢失?
【问题讨论】:
-
这里有一些“健全性检查”问题。您在查询之前确定要提交吗?此外,ES 人口具有固有的延迟。查询 ES 之前是不是稍等片刻?
-
提交是,否则我的加载后审核会引发错误。它匹配来自输入文件的数据加载计数和加载到数据库中的数据。但是在从 ES 查询期间没有应用手动延迟。我需要考虑这个延迟方面吗?我可以延迟一秒(虽然会增加加载时间)
-
尝试添加延迟。如果它有效,那么我将提交一个答案并解释原因。酷吗?
-
肯定会放弃,明天会回来
-
@BobB 这工作得很好。我延迟了一秒。除此之外,我还更改了用于连接 Cassandra 的库(这与我遇到的其他问题有关)。我之前使用的是 thrift,现在我使用的是 netflix'x astyanax。