titan-hbase-solr 图形加载 gremlin-server java.lang.OutOfMemoryError: 超出 GC 开销限制答案

【问题标题】：titan-hbase-solr graph load gremlin-server java.lang.OutOfMemoryError: GC overhead limit exceededtitan-hbase-solr 图形加载 gremlin-server java.lang.OutOfMemoryError: 超出 GC 开销限制
【发布时间】：2017-05-23 19:31:48
【问题描述】：

我们正在尝试使用 gremlin 服务器远程连接在 Titan 中创建一个巨大的图形（大约 100,000 个顶点）。我们按照https://github.com/pluradj/titan-tp3-driver-example 提供的示例代码通过gremlin 服务器创建到titan 的远程连接。我们能够创建索引、顶点、边查询创建的简单图，没有任何问题；

但是，当我们尝试使用生成器创建一个巨大的图时（它使用已建立的远程连接直接在服务器中创建顶点和边），我们收到以下错误：

 6041316 [gremlin-server-exec-6] WARN  org.apache.tinkerpop.gremlin.server.op.AbstractEvalOpProcessor  - Exception processing a script on request [RequestMessage{, requestId=81f949ad-0e37-4293-bcaa-0714cb159c3b, op='eval', processor='', args={gremlin=g.V().has('idObj', 'OC97').next().addEdge('OC_LC', g.V().has('idObj', 'LC9643').next()), batchSize=64}}].
java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.codehaus.groovy.reflection.CachedClass$3.initValue(CachedClass.java:106)
    at org.codehaus.groovy.reflection.CachedClass$3.initValue(CachedClass.java:84)
    at org.codehaus.groovy.util.LazyReference.getLocked(LazyReference.java:49)
    at org.codehaus.groovy.util.LazyReference.get(LazyReference.java:36)
    at org.codehaus.groovy.reflection.CachedClass.getMethods(CachedClass.java:260)
    at groovy.lang.MetaClassImpl.addInterfaceMethods(MetaClassImpl.java:419)
    at groovy.lang.MetaClassImpl.fillMethodIndex(MetaClassImpl.java:342)
    at groovy.lang.MetaClassImpl.initialize(MetaClassImpl.java:3264)
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClassUnderLock(ClassInfo.java:254)
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClass(ClassInfo.java:285)
    at org.codehaus.groovy.reflection.ClassInfo.getMetaClass(ClassInfo.java:295)
    at org.codehaus.groovy.runtime.metaclass.MetaClassRegistryImpl.getMetaClass(MetaClassRegistryImpl.java:261)
    at org.codehaus.groovy.runtime.InvokerHelper.getMetaClass(InvokerHelper.java:873)
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.createPojoSite(CallSiteArray.java:125)
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.createCallSite(CallSiteArray.java:166)
    at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:48)
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:113)
    at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:133)
    at Script72559.run(Script72559.groovy:1)
    at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:534)
    at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:374)
    at javax.script.AbstractScriptEngine.eval(AbstractScriptEngine.java:233)
    at org.apache.tinkerpop.gremlin.groovy.engine.ScriptEngines.eval(ScriptEngines.java:102)
    at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor.lambda$eval$0(GremlinExecutor.java:258)
    at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor$$Lambda$137/1500273035.call(Unknown Source)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

图生成一开始很快，然后逐渐变慢，大约 31000 个顶点失败，抛出上述错误。

我们已尝试更改默认缓存参数，如下所示

cache.db-cache=true
cache.db-cache-clean-wait=0
cache.db-cache-time=10000
cache.db-cache-size=0.1

我们还尝试通过设置 cache.db-cache=false 来停用缓存。但没有一个步骤对我们有用。

#Our environment:
CDH 5.7.1
Titan 1.1.0-SNAPSHOT
Solr 4.10.3
HBase 1.2.0

您能指导我们如何克服这个问题吗？

【问题讨论】：

你试图在一次提交上创建多少个元素？尝试一次提交较少数量的顶点/边，而不是一次提交 100K。
还要确保使用参数化脚本tinkerpop.apache.org/docs/current/reference/…
这个问题几乎肯定与参数化有关。
@stephen：我在更改缓存参数化时看不到任何区别，在创建 arround 31000 个顶点后总是失败
@Jason Plurad：我正在使用远程连接到 gremlin 服务器，所以我认为不需要提交事务。我可以看到在执行期间创建的每个顶点而无需提交。尽管如此，我每次生成 arround 10 个顶点时都在进行图形遍历提交（g.tx().commit）。创建顶点和边的命令已经参数化

标签： graph hbase titan gremlin gremlin-server

【解决方案1】：

问题是忘记使用参数化脚本http://tinkerpop.apache.org/docs/current/reference/#parameterized-scripts

Gremlin 服务器缓存所有传递给它的脚本：使用参数化脚本减少缓存，因为只缓存不常见的脚本 (g.V(x))

不使用参数化脚本而是使用 String.format 例如（就像我们所做的那样）意味着单独缓存所有 gremlin 脚本，这非常昂贵并导致 OutOfMemoryError

我希望这会对某人有所帮助;)

【讨论】：