通过 Redis Hash 存储和搜索

Question

我有大约 1000 万 + 越来越多的用户使用电子邮件和电话号码。两者都指向一个用户 ID。我创建了 2 个哈希。一个用于电子邮件，另一个用于电话号码，例如

//A single user with Both Email and Phone number pointing to same User ID
$redis->hSet('email-users', 'abc@xyz.com', 1);
$redis->hSet('phone-users', '+192938384849', 1);

现在大约有数百万用户，Hash 正在变得超载，我也想搜索这些哈希。就像我想从电子邮件用户哈希的电子邮件中获取用户 ID。

我发现哈希应该使用Redis — best way to store a large map (dictionary) 的 ZipList 维护，并分成固定大小的较小存储桶，例如单个哈希中最多 10000 个键。

因此，如果我将我的 1000 万用户划分为包含 10000 个键的存储桶，那么电子邮件的哈希值大约为 1000，电话号码的哈希值约为 1000。

我的问题是，我应该将我的用户分成这 1000 个桶吗？如果是，那么我该如何搜索这 1000 个存储桶？还是有更好的选择？

附：我正在使用 PHP 并获取所有 1000 个哈希并遍历它们可能会占用大量资源，而且我担心使用错误的方法也会降低 Redis Power 的实际性能。

顺便说一句，我认为我们可以创建一些像 libketama 这样的算法来实现一致的散列，从而将密钥放置在随机服务器中。

此外，如果很难处理字母表，我们可以先将每封电子邮件转换为数字，例如 a=1、b=2、c=3 ... z=26，并附加 0（零）以使其唯一并且+s 表示 @ 和 .人物。例如

abcd@gmail.com  ->  10203040+901301090+3015013

所以，现在我们有了可以更轻松地应用任何计算的数字。

Answer 1

你可以做的是根据第一个或前几个字母/数字来分配字母和数字。

你可以像这样创建你的哈希值；电子邮件第一个字母、电话号码在前或前两位数

• 电子邮件用户-a
• 电子邮件用户-b
• 电子邮件用户-c
• phone-users-10
• phone-users-11

当您执行 hset/hget 时，您可以在代码级别进行安排。

编辑：

假设我们将使用first two digits 作为电话号码，使用first two letters 作为电子邮件；

然后我们将有如下键；

• 电子邮件用户-aa
• 电子邮件用户-ab
• phone-users-11
• phone-users-12

当我们收到ersoy@gmail.com 这样的电子邮件时，我们将转到er 电子邮件哈希组email-users-er 并执行hget email-users-er ersoy@gmail.com。

当我们有像123456789 这样的电话号码时，我们将转到12 电话哈希组phone-users-12 并执行hget phone-users-12 123456789。

Answer 2

我的问题是，我应该将我的用户分成这 1000 个桶吗？和 如果是，那么我该如何搜索这 1000 个存储桶？或者有没有 更好的选择？

是的。该方法可以通过以下方式起作用。

对于此示例，我们将电话号码和电子邮件 ID 都视为字符串。

假设您有以下存储桶（Redis Hash）：

For Email Ids: email_0001, email_0002, ..., email_1000
For Phone Numbers: phone_0001, phone_0002, ..., phone_1000

1. 给定一个电子邮件 ID，通过散列电子邮件 ID 来确定存储桶（最大值为 1000）。为此，您可以使用一致的散列。现在将键和值添加到适当的“桶”中。

   $ HSET "email_0032" "abc@xyz.com" "UID_987"
   

2. 对电话号码重复第 1 步。这可以防止您需要记录哪个密钥进入哪个存储桶。给定相同的键，哈希将始终给出相同的值，从而返回相同的桶号。

   $ HSET "phone_0091" "+192938384849" "UID_987"
   

3. 要检索一个值，首先通过散列电子邮件/电话找到存储桶，然后在适当的存储桶中查找该值。

   $ HGET "phone_0091" "+192938384849"
     UID_987
   

import java.nio.charset.Charset;
import com.google.common.hash.HashFunction;
import com.google.common.hash.Hashing;

public class Sample {

    private static final int BUCKET_SIZE = 1000;
    private static final HashFunction hashFunction = Hashing.murmur3_128();
    private static final Charset UTF8 = Charset.forName("UTF-8");

    private Sample() {
    }

    public static int pickBucket(String key, int buckets) {
        int bucket = com.google.common.hash.Hashing.consistentHash(hashFunction.hashString(key, UTF8).asLong(), buckets);
        return bucket;
    }

    private static void getFromRedisHash(String key) {

        int bucket = pickBucket(key, BUCKET_SIZE);
        // Get From Redis based on the bucket number
    }

    public static void main(String[] args) {

        System.out.println(pickBucket("abc@xyz.com", BUCKET_SIZE));
        System.out.println(pickBucket("+192938384849", BUCKET_SIZE));
    }
}

上面的例子是用 Java 编写的，我假设 PHP 会有类似的哈希库。