使用谓词加载缓存答案

【问题标题】：Load cache with predicate使用谓词加载缓存
【发布时间】：2017-03-08 11:12:26
【问题描述】：

我有一个包含多种类型的缓存。我正在运行纯 Java 节点。我在部署服务之前在启动时加载缓存。缓存由 CacheJdbcPojoStore 支持。我正在使用 Ignite 1.8。

当我加载空谓词时，一切正常。所有类型及其实例都加载到内存中。但是，当我使用谓词加载时，出现以下错误。奇怪的是，在 Windows 上，错误不会发生并且谓词工作正常。但在 Linux 上，它失败了。这里可能出了什么问题？

缓存加载代码。 ServiceStatus 和 ServiceMetric 只是我的数据库支持的两种 pojo 类型。

        log.info("Local load cache started.");
        cache.localLoadCache(new IgniteBiPredicate() {
            @Override
            public boolean apply(Object key, Object value) {
                // include by default, exclude explicitly

                // no service status before today
                if (value instanceof ServiceStatus) {
                    if (((ServiceStatus)value).getLastUpdated().before(Timestamp.valueOf(LocalDate.now().atStartOfDay()))){
                        return false;
                    }
                }

                // no service metrics before today
                if (value instanceof ServiceMetric) {
                    if (((ServiceMetric)value).getLastUpdated().before(Timestamp.valueOf(LocalDate.now().atStartOfDay()))){
                        return false;
                    }
                }

                return true;
            }
        }, null);
        log.info("Local load cache finished.");

错误。

[ERROR] 2017-01-30 13:01:28.913 [main] ServiceGrid - 异常失败。 javax.cache.integration.CacheLoaderException：加载缓存失败：D9Cache 在 org.apache.ignite.cache.store.jdbc.CacheAbstractJdbcStore.loadCache(CacheAbstractJdbcStore.java:847) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.store.GridCacheStoreManagerAdapter.loadCache(GridCacheStoreManagerAdapter.java:512) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter.localLoadCache(GridDhtCacheAdapter.java:497) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.IgniteCacheProxy.localLoadCache(IgniteCacheProxy.java:413) ~[ignite-core-1.8.0.jar:1.8.0] 在 com.nmf.model.persistence.CacheUtil.loadCache(CacheUtil.java:87) ~[shared-data-model-1.0-SNAPSHOT.jar:?] 在 com.nmf.grid.ServiceGrid.main(ServiceGrid.java:75) [dragon9-service-grid-1.0-SNAPSHOT.jar:?] 引起：org.apache.ignite.binary.BinaryObjectException：ID 的解析类失败：292145121 在 org.apache.ignite.internal.binary.BinaryContext.descriptorForTypeId(BinaryContext.java:696) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryReaderExImpl.deserialize0(BinaryReaderExImpl.java:1491) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryReaderExImpl.deserialize(BinaryReaderExImpl.java:1450) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryObjectImpl.deserializeValue(BinaryObjectImpl.java:637) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryObjectImpl.value(BinaryObjectImpl.java:142) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter.loadEntry(GridDhtCacheAdapter.java:528) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter.access$300(GridDhtCacheAdapter.java:94) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter$4.apply(GridDhtCacheAdapter.java:501) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter$4.apply(GridDhtCacheAdapter.java:497) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.store.GridCacheStoreManagerAdapter$3.apply(GridCacheStoreManagerAdapter.java:528) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.cache.store.jdbc.CacheAbstractJdbcStore$1.call(CacheAbstractJdbcStore.java:462) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.cache.store.jdbc.CacheAbstractJdbcStore$1.call(CacheAbstractJdbcStore.java:429) ~[ignite-core-1.8.0.jar:1.8.0] 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_111] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) ~[?:1.8.0_111] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ~[?:1.8.0_111] 在 java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_111] 原因：org.apache.ignite.IgniteCheckedException：在编组器缓存和本地文件中找不到类定义。 [id=292145121，文件=/tmp/ignite/work/marshaller/292145121.classname] 在 org.apache.ignite.internal.MarshallerContextImpl.className(MarshallerContextImpl.java:218) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.MarshallerContextAdapter.getClass(MarshallerContextAdapter.java:174) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryContext.descriptorForTypeId(BinaryContext.java:680) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryReaderExImpl.deserialize0(BinaryReaderExImpl.java:1491) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryReaderExImpl.deserialize(BinaryReaderExImpl.java:1450) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryObjectImpl.deserializeValue(BinaryObjectImpl.java:637) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.binary.BinaryObjectImpl.value(BinaryObjectImpl.java:142) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter.loadEntry(GridDhtCacheAdapter.java:528) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter.access$300(GridDhtCacheAdapter.java:94) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter$4.apply(GridDhtCacheAdapter.java:501) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.distributed.dht.GridDhtCacheAdapter$4.apply(GridDhtCacheAdapter.java:497) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.internal.processors.cache.store.GridCacheStoreManagerAdapter$3.apply(GridCacheStoreManagerAdapter.java:528) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.cache.store.jdbc.CacheAbstractJdbcStore$1.call(CacheAbstractJdbcStore.java:462) ~[ignite-core-1.8.0.jar:1.8.0] 在 org.apache.ignite.cache.store.jdbc.CacheAbstractJdbcStore$1.call(CacheAbstractJdbcStore.java:429) ~[ignite-core-1.8.0.jar:1.8.0] 在 java.util.concurrent.FutureTask.run(FutureTask.java:266) ~[?:1.8.0_111] 在 java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) ~[?:1.8.0_111] 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) ~[?:1.8.0_111] 在 java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_111]

【问题讨论】：

密钥的类型是什么？它在 Java 和数据库中的类型是什么？
关键是一个pojo，它只包含一个名为id的长字段。这映射到数据库中的一个 bigint 列，也称为 id。
你在类路径上有这个类吗？如果明确部署在那里，是否存在问题？
是的，类肯定在类路径上。我可以直接将部署从我的 windows 机器复制到 linux 机器，它会停止工作。如果我删除负载谓词，那么它在两种环境中都可以正常工作。
我很确定当你移动时会发生一些变化。我还建议将匿名类转换为静态类，以便您确定哪些是序列化的，哪些不是。当实现为匿名类时，过滤器可以拾取导致此错误的意外情况。

标签： ignite

【解决方案1】：

如果没有其他信息，很难给出建议，但您可以使用 cache.withKeepBinary() 检查它是否可重现。此外，尝试反弹整个集群。奇怪的是这个案例只代表Linux。

【讨论】：

肯定我已经多次反弹集群。但我会尝试 .withKeepBinary() 谢谢。
我试过用KeepBinary() 但这不起作用。我认为windows vs linux的事情是红鲱鱼。我实际上认为这可能是 CacheJdbcPojoStore 的竞争条件。我的数据库在运行linux时在同一台主机上，但是运行windows时，数据库在云端，所以读取时间会更长。我对此错误持怀疑态度：[main] CacheJdbcPojoStore - Runnable tasks outlived thread pool executor service [owner=CacheJdbcPojoStore, tasks=[java.util.concurrent.FutureTask@46d9aec8, java.util.concurrent.FutureTask@14379273,
这里还有很多文件，类名是我所期望的，但显然错误消息中提到的文件不存在 /tmp/ignite/work/marshaller
可能与 lunix 和 windows 区分大小写有关？

【解决方案2】：

我也看到了这个问题（出于时间考虑），它让我完全放弃了使用谓词。在使用谓词时加载缓存时，我会有时收到您上面提到的异常。我在 Linux 和 Windows 上都观察到了这一点，但并不一致。有时缓存会加载，有时不会。正如我所说的那样，我被赶时间了，所以假设它是运行谓词并解决问题的 Ignite 代码中某处的竞争条件。

如果任何 Ignite 专家能够进一步阐明问题的潜在根源，我将很乐意在可能的情况下提供帮助。

--更新-- 在尝试从后备存储加载日期之前，我已经通过“加热”二进制编组器来解决这个问题（这导致文件未找到错误）

所以我的做法是：

 IgniteCache cache = ignite.getOrCreateCache("my-cache");
 warmBinaryMarshaller(cache);
 cache.localLoadCache(cache, new MyPredicate(), (Object[])null);

...

private static void warmBinaryMarshaller(IgniteCache cache) throws Exception
{
    final IgniteCache transientCache = cache.withSkipStore();
    try{
        CacheKey key = new CacheKey();
        CacheEntity entity = CacheEntity(); 
        key.setId(0);
        entity.setId(0);
        transientCache.put(key, entity);
        transientCache.remove(key);
     } catch (Exception e) {
         log.error(e.getMessage(), e);
     }
}

...

然后我可以成功地从我的数据库中加载对象

【讨论】：

一旦你得到50分，请把你的陈述写成“评论”（这是一个很好的评论），因为它就是这样；它不是现在的“答案”。
这必须是一个竞争条件。在办公室的某台机器上，这个问题永远不会发生。现在我第一次在家里的笔记本电脑上运行相同的代码版本，问题就出现了。
在我看来，在 GridDhtCacheAdapter 尝试通过 BinaryReaderExImpl.deserialise() 加载条目之前，负责将类型名称写入文件的线程尚未完成对所有类型的工作