Redis 集群方案

[jinhailang]

Redis 集群方案

架构简图

说明

• 将基础元数据和特殊元数据合并到一个 redis 集群，集群预先分成若干片。N >= 3
• 任意 reids master 故障时，redis sentinel 自动主备切换
• twemproxy 对 key 进行哈希，路由到对应的 redis，主备切换后，触发脚本修改 twemproxy 配置的 servers
• 每个 master 节点挂 2 个 slave 节点，twemproxy 和 redis sentinel 至少 3 个，可以横向扩展

对比

优势：

• 去除单节点故障，提高可用性
• 方便管理和使用，避免多个项目使用多个 redis 实例
• twemproxy 代理和预先对数据分片，横向扩展，支持更大的数据缓存和并发连接
• 集群架构相对 redis cluster 更简单，且不需要客户端支持最新的跳转等特性

不足：

• 增加 reids master 节点，旧数据需要手工调整，但是可以预先多分片避免

迁移方案

• 编写数据迁移脚本mRedisMove，迁移流程：

  old redis => mRedisMove => Ohm API => mongodb & new redis

• 有些动态临时缓存数据，如 带宽控制，不需要存入 mongodb，由API控制

部署

• latest redis-3.2.8 http://download.redis.io/releases/redis-3.2.8.tar.gz
• twemproxy https://github.com/twitter/twemproxy
• redis sentinel 尽量设置故障自动重启，但是不要设置 redis master 故障节点自动重启，会使存储数据错乱，导致 twemproxy 找不到某些 key

本地测试

master：10.0.3.42:4500 10.0.3.42:4501 slave：10.0.2.238:4500 10.0.2.238:4501 sentinel：10.0.2.238:26379 10.0.3.42:26379 twemproxy：10.0.3.42:14555 redis-benchmark：10.0.2.238

直接测试 redis :

测试 twemproxy ：

测试结果相近，官方说法是：twemproxy 性能最多低20%

参考

• 实现redis集群高可用
• Redis集群方案应该怎么做
• Twemproxy, a Redis proxy from Twitter
• redis分片代理Twemproxy