【问题标题】：Cache put item concurrency and throughput缓存放置项并发和吞吐量
【发布时间】：2018-06-02 23:52:50
【问题描述】：
大多数 CDN 服务器对经常访问的内容使用缓存。
场景：
假设有人上传了一张非常热门的图片，并且来自同一位置的许多用户 (1000) 试图访问该图片。
问题：
假设网络服务器收到一个请求，首先检查它的缓存，发现该图片的内容缺失，然后从 CDN 中提取内容。如果拉取时间，假设 x 秒，服务器同时针对相同内容收到了 999 个请求。
服务器是否会再从服务器获取内容 999 次（因为服务器仍在提取数据并且缓存中没有数据）并更新缓存？
如果不是服务器实施什么方案来避免这种情况。
【问题讨论】：
标签：
caching
web
redis
dns
memcached
【解决方案1】：
您可以在服务器端设置一个锁，以避免对 CDN 的请求过多。
服务器收到请求时：
- 工作线程检查密钥是否存在。如果键存在，则返回值。
- 如果键不存在，即缓存未命中，工作线程会尝试锁定互斥体。
- 如果锁定成功，此工作线程会从 CDN 获取数据、更新缓存并解锁互斥锁。
- 如果该线程未能锁定互斥锁，即某个其他线程正在向 CDN 发送请求，它会休眠一段时间，例如1 秒，然后进入步骤 1 重试整个过程。
如果您有许多服务器，并且缓存在这些服务器之间共享，即多个进程。您可以使用分布式锁，例如Redis 的SETNX.
但是，在这种情况下，您需要小心第 3 步：如果服务器锁定成功，但在解锁之前崩溃。其他服务器将永远等待。所以你还需要为锁设置一个过期时间。