【问题标题】:implementing out-of-process cache using Redis in windows azure在 Windows azure 中使用 Redis 实现进程外缓存
【发布时间】:2013-05-11 13:15:56
【问题描述】:

我一直在开发一个网页,该网页显示我在 Azure 云中拥有的数据库中的表格。 为了减少对数据库的直接调用以提高性能,我想为页面构建一个缓存。目前,我为表的 reads 持有一个内存缓存(进程内)。现在我想创建一个进程外缓存,应该从 writes 进行更新,这意味着插入或更新(因为在更新或添加值之后,内存缓存将不再有效)。

我在 Redis 上被推荐,特别是 Book Sleeve,我的问题是在哪里可以找到一些代码示例来帮助我弄清楚如何开始使用它构建进程外缓存并将其结合到我当前的项目中。

提前致谢

【问题讨论】:

  • 抱歉,我没有看到这个到货 - 今天晚些时候我会添加一个示例
  • 似乎有一些不错的答案here
  • 非常感谢@MarcGravell,也感谢你,Brian

标签: c# azure redis azure-sql-database booksleeve


【解决方案1】:

如果您希望纯粹在进程外,那么它非常简单 - 类似于以下内容,但请注意 BookSleeve 被设计为共享:它是完全线程安全的并且可以作为多路复用器工作 - 您不应该为每次调用创建/处置它们。另请注意,在这种情况下,我假设您将单独处理序列化,所以我只是公开了一个 byte[] API:

class MyCache : IDisposable
{
    public void Dispose()
    {
        var tmp = conn;
        conn = null;
        if (tmp != null)
        {
            tmp.Close(true);
            tmp.Dispose();
        }
    }
    private RedisConnection conn;
    private readonly int db;
    public MyCache(string configuration = "127.0.0.1:6379", int db = 0)
    {
        conn = ConnectionUtils.Connect(configuration);
        this.db = db;
        if (conn == null) throw new ArgumentException("It was not possible to connect to redis", "configuration");
    }
    public byte[] Get(string key)
    {
        return conn.Wait(conn.Strings.Get(db, key));
    }
    public void Set(string key, byte[] value, int timeoutSeconds = 60)
    {
        conn.Strings.Set(db, key, value, timeoutSeconds);
    }
}

有趣是如果你想要一个 2 层缓存 - 即使用本地内存进程外缓存,因为现在你需要缓存失效。 Pub/sub 让这很方便 - 下面显示了这一点。这可能并不明显,但这会减少对 redis 的调用(您可以使用 monitor 来查看)——因为大多数请求都是在本地缓存之外处理的。

using BookSleeve;
using System;
using System.Runtime.Caching;
using System.Text;
using System.Threading;

class MyCache : IDisposable
{
    public void Dispose()
    {
        var tmp0 = conn;
        conn = null;
        if (tmp0 != null)
        {
            tmp0.Close(true);
            tmp0.Dispose();
        }

        var tmp1 = localCache;
        localCache = null;
        if (tmp1 != null)
            tmp1.Dispose();

        var tmp2 = sub;
        sub = null;
        if (tmp2 != null)
        {
            tmp2.Close(true);
            tmp2.Dispose();
        }

    }
    private RedisSubscriberConnection sub;
    private RedisConnection conn;
    private readonly int db;
    private MemoryCache localCache;
    private readonly string cacheInvalidationChannel;
    public MyCache(string configuration = "127.0.0.1:6379", int db = 0)
    {
        conn = ConnectionUtils.Connect(configuration);
        this.db = db;
        localCache = new MemoryCache("local:" + db.ToString());
        if (conn == null) throw new ArgumentException("It was not possible to connect to redis", "configuration");
        sub = conn.GetOpenSubscriberChannel();
        cacheInvalidationChannel = db.ToString() + ":inval"; // note that pub/sub is server-wide; use
                                                             // a channel per DB here
        sub.Subscribe(cacheInvalidationChannel, Invalidate);   
    }

    private void Invalidate(string channel, byte[] payload)
    {
        string key = Encoding.UTF8.GetString(payload);
        var tmp = localCache;
        if (tmp != null) tmp.Remove(key);
    }
    private static readonly object nix = new object();
    public byte[] Get(string key)
    {
        // try local, noting the "nix" sentinel value
        object found = localCache[key];
        if (found != null)
        {
            return found == nix ? null : (byte[])found;
        }

        // fetch and store locally
        byte[] blob = conn.Wait(conn.Strings.Get(db, key));
        localCache[key] = blob ?? nix;
        return blob;
    }

    public void Set(string key, byte[] value, int timeoutSeconds = 60, bool broadcastInvalidation = true)
    {
        localCache[key] = value;
        conn.Strings.Set(db, key, value, timeoutSeconds);
        if (broadcastInvalidation)
            conn.Publish(cacheInvalidationChannel, key);
    }
}

static class Program
{
    static void ShowResult(MyCache cache0, MyCache cache1, string key, string caption)
    {
        Console.WriteLine(caption);
        byte[] blob0 = cache0.Get(key), blob1 = cache1.Get(key);
        Console.WriteLine("{0} vs {1}",
            blob0 == null ? "(null)" : Encoding.UTF8.GetString(blob0),
            blob1 == null ? "(null)" : Encoding.UTF8.GetString(blob1)
            );
    }
    public static void Main()
    {
        MyCache cache0 = new MyCache(), cache1 = new MyCache();
        string someRandomKey = "key" + new Random().Next().ToString();
        ShowResult(cache0, cache1, someRandomKey, "Initially");
        cache0.Set(someRandomKey, Encoding.UTF8.GetBytes("hello"));
        Thread.Sleep(10); // the pub/sub is fast, but not *instant*
        ShowResult(cache0, cache1, someRandomKey, "Write to 0");
        cache1.Set(someRandomKey, Encoding.UTF8.GetBytes("world"));
        Thread.Sleep(10); // the pub/sub is fast, but not *instant*
        ShowResult(cache0, cache1, someRandomKey, "Write to 1");
    }
}

请注意,在完整的实现中,您可能希望处理偶尔断开的连接,以及稍微延迟的重新连接等。

【讨论】:

  • 注意这里的Sleep只是模拟你继续做生意;关键是在编辑发生的大约 0.5 毫秒内,所有节点都会知道它
  • 关于此实现:您发送的是失效消息而不是数据。在 PubSub 频道中发送完整数据有什么缺点吗?谢谢
  • @Cyber​​maxs-Betclic 这意味着您正在向可能永远不需要它的客户端发送潜在的大块数据
  • 是的,但是让我们假设所有客户端都具有相同的拓扑结构,例如 WebFarm 中的唯一网站。好的,我们不能发送太多数据(只有几KB?)这种Pub Sub系统适合Redis吗?
猜你喜欢
  • 2016-06-04
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2018-01-09
  • 2017-11-22
  • 1970-01-01
  • 2014-10-05
相关资源
最近更新 更多