ElastiCache - 将数据从 t1.*/ t2.* 迁移到 m3.*答案

【问题标题】：ElastiCache - Migrating data from t1.*/ t2.* to m3.*ElastiCache - 将数据从 t1.*/ t2.* 迁移到 m3.*
【发布时间】：2019-02-12 16:25:49
【问题描述】：

我目前有一个实例类型为 cache.t2.micro

的 Redis 集群

对于这种实例类型，没有自动将 Redis 数据备份到 s3 的选项，并且也无法运行 BGSAVE 命令，因为它受到限制，如 here 所述/p>

我注意到，如果重启 Redis 集群中的主节点，或者 Redis 引擎版本从较低版本更改为较高版本（即从 3.x 到 4.x），则节点中的数据会被完全删除，尽管他们声称是最好的努力。

如here 所述，也不支持为此实例类型制作快照

我能想到的唯一选择是使用 DUMP 命令并获取密钥的序列化版本并为所有 DBS 存档此数据，然后使用RESTORE 命令。但这可能不是最好的方法，因为它不可扩展，并且最终需要一些时间来处理更大的数据集。

对于启用了 TTL 的键，我必须运行 TTL 命令，获取 TTL（这是额外的开销）。

但是 DUMP 命令发出错误 DUMP 有效负载版本或校验和错误，该错误排除了该选项（难怪此命令不受限制）

在这种情况下，除了读取所有键及其值之外，还有其他方法可以进行备份和恢复吗？

谢谢。

编辑：

所以我知道这不是最好的方法，但这是我能想到的。

TL;DR

读取所有密钥并从一个集群迁移到另一个集群。

对于具有配置的集群来说，这应该不是问题。大于 t2.*

代码：

import traceback
from redis import Redis
import itertools

def migrate_to_another_redis_node(source_node, source_node_port_no, dest_node, dest_node_port_no):
'''
migrates the keys from one redis node to the other
:param source_node: source redis node url
:param source_node_port_no: source redis node port number
:param dest_node: destination redis node url
:param dest_node_port_no: destination redis node port number
:return: True/False
'''
    try:
        total_keys_migrated = 0
        for db in range(16):
             source_redis_client = Redis(source_node, source_node_port_no, db=db)
             dest_redis_client = Redis(dest_node, dest_node_port_no, db=db)
             for key in source_redis_client.keys('*'):
                 key_type = source_redis_client.type(key).decode()
                 if key_type == 'string':
                     value = source_redis_client.get(key)
                     dest_redis_client.set(key, value)
                 elif key_type == 'list':
                     values = source_redis_client.lrange(key, 0, -1)
                     dest_redis_client.rpush(key, *values)
                 elif key_type == 'hash':
                     key_value_pairs = source_redis_client.hgetall(key)
                     dest_redis_client.hmset(key, key_value_pairs)
                 elif key_type == 'set':
                     values = source_redis_client.smembers(key)
                     dest_redis_client.sadd(key, *values)
                 elif key_type == 'zset':
                     values = list(itertools.chain(*source_redis_client.zrange(key, 0, -1, withscores=True)))
                     dest_redis_client.zadd(key, *values)
                 ttl = source_redis_client.ttl(key)
                 if ttl:
                     dest_redis_client.expire(key, ttl)
                 total_keys_migrated += 1
        print('total keys migrated is {}'.format(total_keys_migrated))
        return True
   except:
        error = traceback.format_exc()
        print(error)
   return False

以上方法与密钥类型无关。
性能：以上方法在 2 秒内迁移了大约 4000 个密钥。

【问题讨论】：

标签： amazon-web-services redis amazon-elasticache

【解决方案1】：

根据 AWS 文档：

对于 Redis（已禁用集群模式） cache.t1.micro 节点不支持集群、备份和恢复。支持所有其他缓存节点类型。

因此对于 cahce.t2 节点，您可以创建手动/最终快照并在从快照还原时更改节点类型

【讨论】：