【问题标题】:Why Redis keys are not expiring?为什么 Redis 密钥不会过期?
【发布时间】:2017-02-12 11:53:17
【问题描述】:

我已经检查了这些问题,但它们并没有帮助我解决我的问题。我在使用 spring-data-redis 库的 Spring REST 应用程序中使用 Redis 作为速率限制的键值存储。我用巨大的负载进行测试。我使用以下代码来存储密钥,并且我也在设置过期时间。大多数情况下,密钥会按预期过期。但有时密钥不会过期!

代码sn-p

RedisAtomicInteger counter = counter = new RedisAtomicInteger("mykey");
counter.expire(1, TimeUnit.MINUTES);

我使用 redis-cli 工具检查了密钥的可用性

键 *

ttl 键名

redis.conf 具有默认值。

有什么建议吗?

编辑 1:

完整代码:

函数在一个方面

public synchronized Object checkLimit(ProceedingJoinPoint joinPoint) throws Exception, Throwable {

        boolean isKeyAvailable = false;
        List<String> keysList = new ArrayList<>();

        Object[] obj = joinPoint.getArgs();
        String randomKey = (String) obj[1];
        int randomLimit = (Integer) obj[2];

        // for RedisTemplate it is already loaded as 

        // @Autowired
        // private RedisTemplate template; 

        // in this class
        Set<String> redisKeys = template.keys(randomKey+"_"randomLimit+"*");
        Iterator<String> it = redisKeys.iterator();
        while (it.hasNext()) {
               String data = it.next();
               keysList.add(data);
        }

        if (keysList.size() > 0) {
            isKeyAvailable = keysList.get(0).contains(randomKey + "_" + randomLimit);
        }

        RedisAtomicInteger counter = null;
        // if the key is not there
        if (!isKeyAvailable) {
              long expiryTimeStamp = 0;
              int timePeriodInMintes = 1;
              expiryTimeStamp = new Date(System.currentTimeMillis() + timePeriodInMintes * 60 * 1000).getTime();
              counter = new RedisAtomicInteger(randomKey+ "_"+ randomLimit + "_" + expiryTimeStamp,template.getConnectionFactory());
              counter.incrementAndGet();
              counter.expire(timePeriodInMintes, TimeUnit.MINUTES);
              break;

        } else {

              String[] keys = keysList.get(0).split("_");
              String rLimit = keys[1];

              counter = new RedisAtomicInteger(keysList.get(0), template.getConnectionFactory());
              int count = counter.get();
              // If count exceeds throw error
              if (count != 0 && count >= Integer.parseInt(rLimit)) {
                    throw new Exception("Error");
               }  
               else {
                    counter.incrementAndGet();
              }
      }
        return joinPoint.proceed();
    }

当这些行运行时

RedisAtomicInteger counter = counter = new RedisAtomicInteger("mykey"); counter.expire(1, TimeUnit.MINUTES);

我可以看到

75672562.380127 [0 10.0.3.133:65462] "KEYS" "mykey_1000*"
75672562.384267 [0 10.0.3.133:65462] "GET" "mykey_1000_1475672621787"
75672562.388856 [0 10.0.3.133:65462] "SET" "mykey_1000_1475672621787" "0"
75672562.391867 [0 10.0.3.133:65462] "INCRBY" "mykey_1000_1475672621787" "1"
75672562.395922 [0 10.0.3.133:65462] "PEXPIRE" "mykey_1000_1475672621787" "60000"
...
75672562.691723 [0 10.0.3.133:65462] "KEYS" "mykey_1000*"
75672562.695562 [0 10.0.3.133:65462] "GET" "mykey_1000_1475672621787"
75672562.695855 [0 10.0.3.133:65462] "GET" "mykey_1000_1475672621787"
75672562.696139 [0 10.0.3.133:65462] "INCRBY" "mykey_1000_1475672621787" "1" 

在 Redis 日志中,当我在

中“监控”它时

【问题讨论】:

  • ttl 显示什么键?
  • @ChrisTanner 显示 -1
  • 在 redis-cli 中输入 MONITOR 命令,查看这两行之间是否有任何命令进入 redis 服务器。
  • @KarthikeyanGopall 这两行在线程安全函数中。我正在用巨大的负载进行测试。
  • "RedisAtomicInteger counter = counter = new RedisAtomicInteger("mykey");" 在服务器中执行的命令是什么这行代码?如果了解 RedisAtomicInteger 如何在内部工作很重要

标签: redis spring-data jedis redis-cli


【解决方案1】:

编辑: 现在有了更新的代码,我相信除了您报告的内容之外,您的方法从根本上存在缺陷。

您实现它的方式需要在生产中运行KEYS - 这很糟糕。当您向外扩展时,您将导致服务器上的系统阻塞负载不断增长且不必要。正如其上的每一点文档所说,不要在生产中使用keys。请注意,在密钥名称中编码过期时间不会给您带来任何好处。如果您将密钥名称的那部分设置为创建时间戳,甚至是随机数,则不会发生任何变化。事实上,如果你去掉那一点,什么都不会改变。

更合理的方法是使用不依赖于时间的键名。使用过期会为您处理该功能。让我们将您的速率限制事物称为“会话”。您没有时间戳的键名是“会话 ID”。通过在其上设置 60s 的到期时间,它将不再在 61s 标记处可用。因此,您可以安全地增加结果并将结果与​​您的限制进行比较,而无需知道当前时间或到期时间。您所需要的只是一个静态键名和一个适当的过期设置。

如果您INCR 一个不存在的键,Redis 将返回“1”,这意味着它创建了键并在单个步骤/调用中递增它。所以基本上逻辑是这样的:

  1. 创建“会话”ID
  2. 使用 ID 递增计数器
  3. 将结果与限制进行比较
    1. 如果 count == 1,将过期时间设置为 60 秒
    2. id 计数 > 限制,拒绝

步骤 3.1 很重要。计数为 1 表示这是 Redis 中的新键,您希望在其上设置过期时间。其他任何事情都意味着应该已经设置了到期时间。如果您在 3.2 中设置它,您将中断该过程,因为它将保留计数器超过 60 秒。

有了这个,你不需要有基于过期时间的动态键名,因此不需要使用keys 来确定是否存在速率限制对象的“会话”。它还使您的代码更加简单和可预测,并减少了到 Redis 的往返次数——这意味着它将减少 Redis 上的负载并且性能更好。至于如何使用您正在使用的客户端库来做到这一点,我不能说,因为我对它不太熟悉。但是基本序列应该可以翻译成它,因为它相当基本和简单。

但是,您没有展示的是任何支持过期没有发生的断言。你所做的只是表明 Redis 确实被告知并设置了过期时间。为了支持您的主张,您需要证明密钥不会过期。这意味着您需要在过期时间后显示对密钥的检索,并且计数器没有通过在过期后重新创建来“重置”。您可以看到到期发生的一种方法是使用keyspace notifications。这样,您将能够看到 Redis 说密钥已过期。

如果您为速率限制执行多个窗口,或者如果您有一个更大的窗口(即 10 分钟),则此过程会失败一点,在这种情况下,排序集可能是一个更明智的选择,以防止前-加载请求 - 如果需要。但是正如你的例子所写的那样,上面的方法就可以了。

【讨论】:

  • 实际上我看到的是“PEXPIRE”“mykey_1000_1475672621787”“60000”。编辑了问题以获取更多信息。
  • 你使用的是什么版本的 Redis?
  • 在windows中使用3.2版本
  • 您仍然没有显示最终结果。没有迹象表明没有到期,只是有一组。您的日志会在同一秒内显示,并且不包括 TTL 调用。你等了多久检查钥匙?你是如何检查钥匙的?调用创建计数器后会发生什么,如何/在哪里使用它?数据清楚地显示 Redis 被正确告知要使数据过期,但没有任何迹象表明它没有这样做。没有什么我们可以帮助你。顺便说一句,停止使用keys 并直接在密钥上使用TTL
  • "你等了多久才能找到钥匙?" - 测试运行 10 分钟,所以我在那之后检查。在创建和过期的几个密钥之间。但有时密钥不会过期。 / 你是如何检查钥匙的? - 使用 ttl 键名(显示 - 1)/调用创建计数器后会发生什么,如何/在哪里使用它? - 当计数器被调用时,在 Redis 中使用键执行 SET 命令/停止使用键并直接在键上使用 TTL - 无法直接在 RedisTemplate 类中找到 ttl,所以键*。如果有任何可用的建议我。
猜你喜欢
  • 2012-08-04
  • 2017-09-18
  • 2022-06-29
  • 2020-09-26
  • 2020-04-19
  • 2016-04-25
  • 1970-01-01
  • 2023-03-04
  • 1970-01-01
相关资源
最近更新 更多