【发布时间】:2020-11-22 03:19:51
【问题描述】:
我正在构建一个数据管道,它使用Maxwell Daemon 实时读取 MySQL 二进制日志,Maxwell Daemon 将数据推送到 Redis 流。我已经构建了一个客户端,它使用来自 Redis 流的数据来处理它。目前,我正在使用休眠时间为几毫秒的无限循环轮询 XREAD 以使用流中的数据,但我发现这是一个低效的解决方案。
我正在寻找一种方法,我可以以某种方式订阅 Redis 流,并在向流中添加新条目时收到通知,并遇到 this GitHub 问题,他们谈论将 Redis 发布/订阅与流一起使用来实现这个功能。
有没有更有效的方式来构建这个系统?
【问题讨论】:
标签: redis architecture system-design redis-streams maxwell