Redis 位图数据到 Mysql - ETL 策略

Question

我真的很喜欢 redis 和 mysql，并广泛使用它们。我有兴趣从我的 redis 实例中清除不再需要的某些键，因为内存很昂贵。我想把它停在磁盘上并永远留在那里。我不是很讲究如何，但我正在探索将它放在mysql中。对于大多数 redis 数据类型来说，这是小菜一碟。它要么是字符串，要么是 json 编码可以轻松处理的东西。我的问题是位图，它是数据的二进制表示。

这是我天真的 psydo 代码/python 方法：

#create an arbitrary bitmap with every third bit ticked to 1
for i in range(100):
    rediscon.setbit('thekey',i*3, 1)

#get the value as a string
thevalue = rediscon.get('thekey')#is get appropriate for a bitmap?
#this looks something like "@ \b\x02\x00\x80 "

#do the insert into mysql
mysql.query("insert into table (key, value) VALUES ('thekey', "+MySQLdb.escape_string(thevalue)+")")

#do a sanity check, restore the key back to redis
#get the value from mysql and put it back in redis with a new key
val = MySQLdb.query("select value from table where key='thekey'")
rediscon.set('thekey_new', val)

print rediscon.bitcount('thekey')#this prints correctly as 100
print rediscon.bitcount('thekey_new')#this is wrong, it prints a number much less than 100

mysql 引擎类型是 myisam，我认为这并不重要。我已经为values 的列类型尝试了 BLOB 和 LONGTEXT。我想在位图上做get 吗？如何在 mysql 中插入二进制数据？

我该怎么做？我希望能够把这个位图放到mysql中，以后有能力恢复。谢谢！

Answer 1

rediscon.get() 是字节安全的，所以是的，这将安全地为您提供位图。

问题在于您的 SQL 语句。您可以base64 在存储二进制数据之前对其进行编码。

您的方法看起来不错，但如果它是大量数据（如在“键”中，而不是在此处谈论“字节”），请始终使用非事务性pipelining。 python实现见here。

希望这有帮助，TW

Answer 2

我能够让它工作，我上面最初的尝试实际上在概念上是正确的。有一个小的逻辑错误导致我的健全性检查失败。

我按照 Tw Bert 的建议尝试了 base64。这不是必需的，但我可能会使用它。我可以将redis.get 的结果直接放入我的 mysql insert 语句中，然后将其拉出来进行健全性检查，它工作正常。我也可以base64编码我放在mysql中的内容，然后当我从mysql中读取出来时进行base64解码。初步来看，与原始二进制文件相比，使用 base64 编码似乎使我在 mysql 中额外花费了大约 20% 的磁盘。但是，我认为我并不关心这一点，并且可能愿意为将数据以 ascii 格式保存，以便我可以更好地“看到”它而支付这笔费用。

我现在可以将它与一些基本的密钥选择结合起来，并将我想从 redis 归档的任何密钥子集备份到磁盘。我希望这对将来的人有所帮助。

更新： 事实证明我没有这样做。我的解决方案非常简单，不保证上述复杂性。我的键的命名结构是分片值在开头，然后是该键的详细信息。所以，我做了四件事：

(1) 我运行KEYS id_123* 来获取我想要存档的所有密钥（密钥很少，所以KEYS 不是一个巨大的障碍，如果你有大量密钥，请使用SCAN） (2) 启动一个新的 redis-server（它可以在同一台机器上，使用不同的端口） (3)MIGRATE所有找到的新redis-server的key。 (4) 发出SAVE 以获取RDB 文件并随心所欲地处理。

这非常简单，并且允许您将其保留为“redis”格式，因此稍后重新提取它非常简单。