以前总结Redis 的一些基本的安装和使用,大家可以这这里查看Redis 系列文章:https://www.cnblogs.com/zhangweizhong/category/771056.html

今天补一下redis集群功能吧。需要注意,Redis 3.0 以后才有集群的功能,下载Redis的时候注意下版本。

1. Redis集群原理

先看看redis-cluster架构图:

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效。

(3)客户端与redis节点直连,不需要中间proxy层,客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。

(4)redis-cluster把所有的物理节点映射到[0-16383]slot(哈希槽)上,cluster 负责维护node<->slot<->value。

Redis 集群中内置了 16384 个slot(哈希槽),当需要在 Redis 集群中放置一个 key-value 时,redis 先对 key 使用 crc16 算法算出一个结果,然后把结果对 16384 求余数,这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽,redis 会根据节点数量大致均等的将哈希槽映射到不同的节点。

容错机制: redis-cluster投票

(1)领着投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.

(2):什么时候整个集群不可用(cluster_state:fail)?

a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态.

b:如果集群超过半数以上master挂掉,无论是否有slave集群进入fail状态.

注意:1. 当集群不可用时,所有对集群的操作做都不可用,收到((error) CLUSTERDOWN The cluster is down)错误。

    2. redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开改配置,允许集群兼容部分失败。

2. 安装Redis

redis 的单机安装之前已经讲过,网络上也有很多教程,这里就不重复了。

文章最后提供了Redis 3.0 的源码,Redis集群脚本等资源。大家可以用我提供的版本来测试。

3. 安装ruby环境

redis3.0 源码中自带的集群管理工具redis-trib.rb依赖ruby环境,首先需要安装ruby环境:

1. 安装ruby环境

yum install ruby

yum install rubygems   

2. 安装ruby和redis的接口程序

拷贝redis-3.0.0.gem至/usr/local下

执行:gem install /usr/local/redis-3.0.0.gem

4. 创建集群

集群结点规划

一般Redis集群的实例,都安装在各个主从服务器上,这里为了演示方便,只是在同一台服务器用不同的端口表示不同的redis服务器,如下:

主节点:172.16.0.17:7001,172.16.0.17:7002,172.16.0.17:7003

从节点:172.16.0.17:7004,172.16.0.17:7005,172.16.0.17:7006

1. 在/usr/local下创建redis-cluster目录,其下创建Redis01到Redis06等6个redis实例,端口号为:7001-7006,具体目录如下:

2. 将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

3. 修改每个redis实例的redis.conf配置文件:

port   //这里要改成各个实例对应的端口,7001-7006
#bind 172.16.0.17
cluster-enabled yes

启动每个结点redis服务

分别进入Redis01、Redis02、...Redis06目录,执行:

./redis-server ./redis.conf

查看redis进程:ps aux|grep redis

以上,Redis 的6个实例,就已经启动了。

执行创建集群命令

执行redis-trib.rb,此脚本是ruby脚本,它依赖ruby环境。

./redis-trib.rb create --replicas  172.16.0.17: 172.16.0.17: 172.16.0.17: 172.16.0.17: 172.16.0.17:  172.16.0.17:

说明:

redis集群至少需要3个主节点,每个主节点有一个从节点总共6个节点

replicas指定为1表示每个主节点有一个从节点

注意:

如果执行时报如下错误:

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是删除生成的配置文件nodes.conf,如果不行则说明现在创建的结点包括了旧集群的结点信息,需要删除redis的持久化文件后再重启redis,比如:appendonly.aof、dump.rdb

创建集群输出如下:

>>> Creating cluster

Connecting to node 172.16.0.17:: OK

Connecting to node 172.16.0.17:: OK

Connecting to node 172.16.0.17:: OK

Connecting to node 172.16.0.17:: OK

Connecting to node 172.16.0.17:: OK

Connecting to node 172.16.0.17:: OK

>>> Performing hash slots allocation on  nodes...

Using  masters:

172.16.0.17:

172.16.0.17:

172.16.0.17:

Adding replica 172.16.0.17: to 172.16.0.17:

Adding replica 172.16.0.17: to 172.16.0.17:

Adding replica 172.16.0.17: to 172.16.0.17:

M: cad9f7413ec6842c971dbcc2c48b4ca959eb5db4 172.16.0.17:

   slots:- ( slots) master

M: 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841 172.16.0.17:

   slots:- ( slots) master

M: 1a8420896c3ff60b70c716e8480de8e50749ee65 172.16.0.17:

   slots:- ( slots) master

S: 69d94b4963fd94f315fba2b9f12fae1278184fe8 172.16.0.17:

   replicates cad9f7413ec6842c971dbcc2c48b4ca959eb5db4

S: d2421a820cc23e17a01b597866fd0f750b698ac5 172.16.0.17:

   replicates 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841

S: 444e7bedbdfa40714ee55cd3086b8f0d5511fe54 172.16.0.17:

   replicates 1a8420896c3ff60b70c716e8480de8e50749ee65

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join...

>>> Performing Cluster Check (using node 172.16.0.17:)

M: cad9f7413ec6842c971dbcc2c48b4ca959eb5db4 172.16.0.17:

   slots:- ( slots) master

M: 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841 172.16.0.17:

   slots:- ( slots) master

M: 1a8420896c3ff60b70c716e8480de8e50749ee65 172.16.0.17:

   slots:- ( slots) master

M: 69d94b4963fd94f315fba2b9f12fae1278184fe8 172.16.0.17:

   slots: ( slots) master

   replicates cad9f7413ec6842c971dbcc2c48b4ca959eb5db4

M: d2421a820cc23e17a01b597866fd0f750b698ac5 172.16.0.17:

   slots: ( slots) master

   replicates 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841

M: 444e7bedbdfa40714ee55cd3086b8f0d5511fe54 172.16.0.17:

   slots: ( slots) master

   replicates 1a8420896c3ff60b70c716e8480de8e50749ee65

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All  slots covered.

5. 查询集群信息

集群创建成功登陆任意redis结点查询集群中的节点情况。

客户端以集群方式登陆:

./redis-cli -c -h 172.16.0.17 -p 7001 -c //其中-c表示以集群方式连接redis,-h指定ip地址,-p指定端口号

查询集群信息

cluster nodes 查询集群结点信息

cluster info 查询集群状态信息

6. 添加主节点

集群创建成功后可以向集群中添加节点,下面是添加一个master主节点

1. 增加Redis07实例,参考集群结点规划章节添加一个“7007”目录作为新节点。

2. 将Redis07实例添加到集群中,执行下边命令:

./redis-trib.rb add-node  172.16.0.17: 172.16.0.17:

3. 查看集群结点发现7007已添加到集群中:

[root@VM_0_17_centos redis-cluster]# ./redis-trib.rb add-node  172.16.0.17: 172.16.0.17:
>>> Adding node 172.16.0.17: to cluster 172.16.0.17:
Connecting to node 172.16.0.17:: OK
.
.
.
Connecting to node 172.16.0.17:: OK
Connecting to node 172.16.0.17:: OK
Connecting to node 172.16.0.17:: OK
Connecting to node 172.16.0.17:: OK
Connecting to node 172.16.0.17:: OK
>>> Performing Cluster Check (using node 172.16.0.17:)
M: 977962f18ec51f363747961137dc903f0078b248 172.16.0.17:
slots:- ( slots) master
additional replica(s)
M: defe4ce0421ee6b50bdab3da58754e98cc80fca3 172.16.0.17:
slots:- ( slots) master
additional replica(s)
S: a64fc273c0b90700397f5bac2b393dc5587d8ba8 172.16.0.17:
slots: ( slots) slave
replicates f277758189eba36c5b5732e9189d8554bf4385cb
M: f277758189eba36c5b5732e9189d8554bf4385cb 172.16.0.17:
slots:- ( slots) master
additional replica(s)
S: 4f16e5adcc141ca284d4a9ec6d04f455aee84a48 172.16.0.17:
slots: ( slots) slave
replicates defe4ce0421ee6b50bdab3da58754e98cc80fca3
S: 479d5a077893184cd0b05a8e1b6cb5c0625215f4 172.16.0.17:
slots: ( slots) slave
replicates 977962f18ec51f363747961137dc903f0078b248
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All slots covered.
Connecting to node 172.16.0.17:: OK
.
.
.
>>> Send CLUSTER MEET to node 172.16.0.17: to make it join the cluster.
[OK] New node added correctly.

哈希槽重新分配

添加完主节点后,集群并不会自动给新添加的节点分配哈希槽,需要我们手动对主节点进行hash槽分配重新分配,这样该主节才可以存储数据。

redis集群有16384个槽,集群中的每个结点分配自已槽,通过查看集群结点可以看到槽占用情况。可以看到刚才添加的主节点Redis07,没有分配哈希槽(slot)。

下面就来说说如何给刚添加的Redis01结点分配槽:

第一步:连接上集群

./redis-trib.rb reshard 172.16.0.17:7001   //(连接集群中任意一个可用结点都行)

第二步:输入要分配的槽数量

第三步:输入接收槽的结点id

这里准备给Redis07分配哈希槽,通过cluster nodes查看Redis07节点id为:e8461f9743e186ae8f67ed301d2d971186b1cc93

输入:e8461f9743e186ae8f67ed301d2d971186b1cc93,

第四步:输入源结点id

如果只是想从单个主节点获取哈希槽,那直接输入相应的节点id即可。

如果想从所有的主节点获取输入:all,

第五步:输入yes开始移动槽到目标结点id

第六步:分配完成之后,可以查询集群节点信息,查看哈希槽是否分配成功。

7. 添加从节点

集群创建成功后可以向集群中添加节点,下面是添加一个slave从节点的命令。

./redis-trib.rb add-node --slave --master-id 主节点id 添加节点的ip和端口 集群中已存在节点ip和端口

1. 添加Redis08实例为从结点,将Redis08作为Redis07的从结点。

执行如下命令:

./redis-trib.rb add-node --slave --master-id e8461f9743e186ae8f67ed301d2d971186b1cc93  172.16.0.17: 172.16.0.17:

e8461f9743e186ae8f67ed301d2d971186b1cc93  是Redis07实例的节点id,可通过cluster nodes查看。

注意:如果原来该结点在集群中的配置信息已经生成集群节点的配置文件(如果集群配置cluster-config-file默认指定则为nodes.conf),这时可能会报错:

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是:删除生成的配置文件nodes.conf,删除后再执行./redis-trib.rb add-node指令

2. 查看集群中的结点,刚添加的Redis08已经成为Redis07的从节点:

8. 删除结点:

集群创建成功后可以向集群中删除其中的一个节点,应该怎么删除呢?

执行如下命令即可:

./redis-trib.rb del-node 172.16.0.17 : e8461f9743e186ae8f67ed301d2d971186b1cc93

注意:删除已经分配了有hash槽的节点会失败,报错如下:

[ERR] Node 172.16.0.17:7007 is not empty! Reshard data away and try again.

解决办法就是:将该结点占用的hash槽分配出去,请参考前面哈希槽重新分配的操作,这里就不重复了。

最后

以上就已经将如何搭建redis的集群讲完了。

redis3.0源码和ruby脚本,点击这里下载

Redis总结(八)如何搭建高可用的Redis集群的更多相关文章

  1. keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群

    keepalived工作原理和配置说明 腾讯云VPC内通过keepalived搭建高可用主备集群 内网路由都用mac地址 一个mac地址绑定多个ip一个网卡只能一个mac地址,而且mac地址无法改,但 ...

  2. 快速掌握RabbitMQ(五)——搭建高可用的RabbitMQ集群

    RabbitMQ的集群是依赖erlang集群的,而erlang集群是通过.erlang.cookie文件进行通信认证的,所以我们使用RabbitMQ集群时只需要配置一下.erlang.cookie文件 ...

  3. 搭建高可用的rabbitmq集群 + Mirror Queue + 使用C#驱动连接

    我们知道rabbitmq是一个专业的MQ产品,而且它也是一个严格遵守AMQP协议的玩意,但是要想骚,一定需要拿出高可用的东西出来,这不本篇就跟大家说 一下cluster的概念,rabbitmq是erl ...

  4. 搭建高可用的MongoDB集群

    http://www.csdn.net/article/2014-04-09/2819221-build-high-avialable-mongodb-cluster-part-1/1 在大数据的时代 ...

  5. 手动搭建高可用的kubernetes 集群

    之前按照和我一步步部署 kubernetes 集群的步骤一步一步的成功的使用二进制的方式安装了kubernetes集群,在该文档的基础上重新部署了最新的v1.8.2版本,实现了kube-apiserv ...

  6. MyCAT+MySQL 搭建高可用企业级数据库集群——第2章 MyCat入门

    2-1 章节综述 2-2 什么是MyCat 2-3 什么是数据库中间层 2-4 MyCat的主要作用 2-5 MyCat基本元素 2-6 MyCat的安装 2-1 章节综述 1.掌握Mycat的基础概 ...

  7. MyCAT+MySQL搭建高可用企业级数据库集群视频课程

    原文地址:https://www.guangboyuan.cn/mycatmysql%E6%90%AD%E5%BB%BA%E9%AB%98%E5%8F%AF%E7%94%A8%E4%BC%81%E4% ...

  8. MyCAT+MySQL 搭建高可用企业级数据库集群——第3章 MyCat核心配置讲解

    3-1 章节综述 3-2 常用配置文件间的关系 3-3 server.xml配置详解 3-4 log4j2.xml配置文件 3-5 rule.xml 3-6 常用分片算法(上) 3-7 常用分片算法( ...

  9. Nginx+Keepalived搭建高可用负载均衡集群

    本文的重点是Keepalived的配置,Nginx的配置就简略带过.软件:CentOS 7.2 / Nginx 1.12.2 / Keepalived 1.3.9 ha-01:192.168.1.97 ...

  10. RabbitMQ(四):使用Docker构建RabbitMQ高可用负载均衡集群

    本文使用Docker搭建RabbitMQ集群,然后使用HAProxy做负载均衡,最后使用KeepAlived实现集群高可用,从而搭建起来一个完成了RabbitMQ高可用负载均衡集群.受限于自身条件,本 ...

随机推荐

  1. Tomcat启动失败Unrecognized Windows Sockets error: 0: JVM_Bind

    问题:Tomcat一直无法运行,或者是运行了报上面图片的哪些错误. 解决:关闭myeclipse,打开任务管理器(Ctrl+Alt+Delete)关闭javaw.exe这个进程,另外说一下,Tomca ...

  2. 理解Javascript之执行上下文(Execution Context)

    1>什么是执行上下文 Javascript中代码的运行环境分为以下三种: 全局级别的代码 - 这个是默认的代码运行环境,一旦代码被载入,引擎最先进入的就是这个环境. 函数级别的代码 - 当执行一 ...

  3. python中from module import * 的一个陷阱

    from module import *把module中的成员全部导到了当前的global namespace,访问起来就比较方便了.当然,python style一般不建议这么做,因为可能引起nam ...

  4. EXT学习之——获取下拉框combobox的值与显示名

    //申请科室 var comboboxdept = new Ext.form.ComboBox({ xtype: "combobox", name: "Gender&qu ...

  5. Java for LeetCode 051 N-Queens

    Given an integer n, return all distinct solutions to the n-queens puzzle. Each solution contains a d ...

  6. ES mlockall作用——preventing that memory from being paged to the swap area

    elasticsearch还有一个重要的参数bootstrap.mlockall,这个参数的目的是当你无法关闭系统的swap的时候,建议把这个参数设为true.防止在内存不够用的时候,elastics ...

  7. Unity游戏数据用Json保存

    (一)关于路径 unity有几个关键的路径 (1).Application.dataPath 只读路径,就是工作目录的Assets路径 (2).Application.streamingAssetsP ...

  8. win7下利用笔记本无线网卡创建AP 组建无线局域网(可以连魔兽,TCP、UDP也没问题)

    转自:http://blog.163.com/fghok_018/blog/static/122599670201072773924530/ 近一个月,宿舍的好多同学都买了笔记本电脑,当然,我也买了, ...

  9. oracle学习----统计信息

    1.收集统计信息的方式 for all columns size skewonly BEGIN  DBMS_STATS.GATHER_TABLE_STATS(ownname          => ...

  10. Telnet,SSH1,SSH2,Telnet/SSL,Rlogin,Serial,TAPI,RAW

    一.Telnet 采用Telnet用来訪问远程计算机的TCP/IP协议以控制你的网络设备,相当于在离开某个建筑时大喊你的username和口令.非常快会有人进行监听, 并且他们会利用你安全意识的缺乏. ...