深入理解RedisCluster

深入理解RedisciusterRedisClusters虚拟槽分区，所有的e根据哈希函数映射到槽内，计算公式：slot=CRC16(key)&16383每个节点负责维护一部分槽以及槽所映射的键值对。Redis虚拟槽分区的特点，解耦数据与节点之间的关系，简化了节点扩容和收缩难度。但其存在如下限制:批量操作支持有限。只支持具有相同si值的ey行批量操作。事务操作支持有限。只支持同一个节点上的多个e的事务操作。是数据分区的最小粒度，因为不能讲一个大的键值对象，如slis等映射到不同的节点上。不支持多数据库，单机下的Redis可以支持个数据库，但集群之只能使用一个数据库空间，即d。5. 复制结构只支持一层，从节点只能复制主节点，不支持嵌套树状复制结构。如何手动创建一个RedisCluster创建三个目录，分别用于存放数据，配置文件和日志。dir-p/opt/redis/datdir-p/opt/redisdir-p/opt/redis/l编辑配置文件vimredis_r6tdaemonizeyespidfile/optredis/data/redis_6379.pidloglevelticelogfile/optredis/log/redis_6379.lodbfilenamdeu.rdbdir/opt/redis/dataappendnlyyesappendfileampependonly_6379.aocluster-enledyescluster-cfig-file/opt/6r3ed7.is9/ccoonnff/nodesluster-node-tim1e5o0u0t为简化起见，这里只贴出了redis的几个关键参数，其中，后面三个参数与Cluste有关。redisredisredisredisredisredisredis_6379.confredisredis_6379.confredissed-is/6379/6re3dis8sed-is/6379/6re3dis8sed-is/6379/6re3dis8sed-is/6379/6re3dis8sed-is/6379/6re3dis8启动所有节点cdt/redis/redis-serverredisredis-serverredisredis-serverredisredis-serverredisredis-serverredisredis-serverredis节点启动后，会在目录下创建odes-文件，文件中记录了节点Drootslowtechconf#lsnode6s-63n8.o1cdeos-nf63n8.o3cdeos-redis，confredis_6381，confredisnode6s-63n8.o2cdeos-nf63n8.o4cdeos-nfredis，confredis_6382，confredisrootslowtechntfnodes-4afd7be954f7cb4f0e102mbye1se0lf6,4m1a0f0s3t0e7r9c-7o4n6nec:tedvarscurrentE0plaosctVhoteEp0och将节点加入到集群中redis-cli63-7p9clusterm1e2etredis-cli63-7p9clusterm1e2etredis-cli63-7p9clusterm1e2etredis-cli63-7p9clusterm1e2etredis-cli63-7p9clusterm1e2etclustermeet命令的流程，以第一条命令为例。1. 6379节点在收到命令后，会为6380节点创建一个clusterNode结构，并将其添加到自己的clusterState.nodes字典里。接着，6379节点向6380节点发送一条MEET消息。2. 6380节点在收到6379节点的meet消息后，也会为6379节点创建一个clusterNode结构，并将其添加到自己的clusterSta.nodes字典里。并向6379节点返回一条PONG消息。3. 6379节点在收到这条PONG消息后，会向6380节点返回一个PING消息。4.6380节点收到6379节点返回的PING消息，知道6379节点已经收到自己返回的PONG消息，握手完成。之后，6379会将6380的消息通过Gossip协议传播给集群中的其它节点，让其它节点也同6380节点握手，最终，6380节点会被集群中的所有节点认识。查看当前集群的节点信息127.0.0.1:6379clusternodes260a27a4afd7be954f7cb4fe12be10641f379746127.0.0.1:637916379myself,master-015390888610001connected645438fcdb241603fbc92770ef08fa6d2d4c7ffc127.0.0.1:638016380master-015390888600002connectedbf1aa1e626988a5a35bc2a837c3923d472e49a4c127.0.0.1:638116381master-015390888607300connected5350673149500f4c2fd8b87a8ec1b01651572fae127.0.0.1:638316383master-015390888610004connected7dd5f5cc8d96d08f35ff395d05eb30ac199f7568127.0.0.1:638216382master-015390888627453connected8679f302610e9ea9a464c247f70924e34cd20512127.0.0.1:638416384master-015390888620005connected虽然六个节点已经加入到集群中了，但此时集群仍处于下线状态。127.0.0.1:6379clusterinfocluster_state:failcluster_slots_assigned:0cluster_slots_ok:0cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:6cluster_size:0cluster_current_epoch:5cluster_my_epoch:1cluster_stats_messages_ping_sent:799cluster_stats_messages_pong_sent:826cluster_stats_messages_meet_sent:5cluster_stats_messages_sent:1630cluster_stats_messages_ping_received:826cluster_stats_messages_pong_received:804cluster_stats_messages_received:1630分配槽将16384个slot平均分配给6379,6380,6381三个节点。redis-cli-p6379clusteraddslots0.5461redis-cli-p6380clusteraddslots5462.10922redis-cli-p6381clusteraddslots10923.16383集群的整个数据库被分为16384个槽，集群中的每个节点可以处理0个或最多16384个槽。当数据库中的16384个槽都有节点在处理时，集群处于上线状态(ok)，反之，如果数据库中有任何一个槽没有得到处理，则集群处理下线状态fail)。查看集群状态#redis-cli-p6379127.0.0.1:6379clusterinfocluster_state:okcluster_slots_assigned:16384cluster_slots_ok:16384cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:6cluster_size:3cluster_current_epoch:5cluster_my_epoch:1cluster_stats_messages_ping_sent:6212cluster_stats_messages_pong_sent:6348cluster_stats_messages_meet_sent:5cluster_stats_messages_sent:12565cluster_stats_messages_ping_received:6348cluster_stats_messages_pong_received:6217cluster_stats_messages_received:12565查看节点和槽的分配关系127.0.0.1:6379clusternodes260a27a4afd7be954f7cb4fe12be10641f379746127.0.0.1:637916379myself,master-015390946390001connected0-5461645438fcdb241603fbc92770ef08fa6d2d4c7ffc127.0.0.1:638016380master-015390946363622connected5462-10922bf1aa1e626988a5a35bc2a837c3923d472e49a4c127.0.0.1:638116381master-015390946393890connected10923-163835350673149500f4c2fd8b87a8ec1b01651572fae127.0.0.1:638316383master-015390946370004connected7dd5f5cc8d96d08f35ff395d05eb30ac199f7568127.0.0.1:638216382master-015390946380003connected8679f302610e9ea9a464c247f70924e34cd20512127.0.0.1:638416384master-015390946383815connected使用clusterreplicate添加从节点clusterreplicate命令必须在对应的从节点上执行，后面接的是主节点的节点D。rootslowtechconf#redis-cli-p6382127.0.0.1:6382clusterreplicate260a27a4afd7be954f7cb4fe12be10641f379746OK127.0.0.1:6382quitrootslowtechconf#redis-cli-p6383127.0.0.1:6383clusterreplicate645438fcdb241603fbc92770ef08fa6d2d4c7ffcOK127.0.0.1:6383quitrootslowtechconf#redis-cli-p6384127.0.0.1:6384clusterreplicatebf1aa1e626988a5a35bc2a837c3923d472e49a4cOK快捷命令echoclusterreplicateredis-cli-p6379clusternodes|grep6379|awkprint$1、|redis-cli-p6382-xechoclusterreplicateredis-cli-p6379clusternodes|grep6380|awkprint$1、|redis-cli-p6383-xechoclusterreplicateredis-cli-p6379clusternodes|grep6381|awkprint$1|redis-cli-p6384-x查看节点和槽的分配关系127.0.0.1:6384clusternodes8679f302610e9ea9a464c247f70924e34cd20512127.0.0.1:638416384myself,slavebf1aa1e626988a5a35bc2a837c3923d472e49a4c015390949470005connected7dd5f5cc8d96d08f35ff395d05eb30ac199f7568127.0.0.1:638216382slave260a27a4afd7be954f7cb4fe12be10641f379746015390949470003connected5350673149500f4c2fd8b87a8ec1b01651572fae127.0.0.1:638316383slave645438fcdb241603fbc92770ef08fa6d2d4c7ffc015390949460004connectedbf1aa1e626988a5a35bc2a837c3923d472e49a41c27.0.0.1:638116381master-015390949480000connected10923-16383645438fcdb241603fbc92770ef08fa6d2d4c7ffc127.0.0.1:638016380master-015390949473062connected5462-10922260a27a4afd7be954f7cb4fe12be10641f379746127.0.0.1:637916379master-015390949483081connected0-5461至此，我们基于Redis协议手动创建了一个Cluster,其由6个节点组成，3个主节点负责处理数据，3个从节点负责故障切换。键到slot的映射算法HASH_SLOT=CRC16(key)mod16384重新分片的流程1. 对目标节点发送clustersetslotimportingsource-node-id：命令，让目标节点准备导入槽的数据。2. 对源节点发送clustersetslotmigratingdestination-node-id：命令，让源节点准备迁出槽的数据。3. 源节点循环执行clustergetkeysinslotslotcount命令，获取count个属于槽slot的键。4. 在源节点执行4. 对于步骤3中获取的每个key,redis-trib.rb都向源节点发送一个MIGRATE0vtimeout：命令，将被选中的键原子性地从源节点迁移至目标节点。5. 重复执行步骤3和4,直到源节点保存的所有属于槽slot的键值对都被迁移到目标节点为止。6. redis-trib.rb向集群中的任意一个节点发送CLUSTERSETSLOTNODE命令，将槽slot指派给目标节点。这一消息会发送给整个集群。客户端ASK重定向流程Redis集群支持在线迁移slot和数据来完成水平伸缩，当slot对应的数据从源节点到目标节点迁移过程中，客户端需要做到智能识别，保证键命令可正常执行。例如，当一个slot数据从源节点迁移到目标节点时，可能会出现一部分数据在源节点，另一部分在目标节点。如果出现这种情况，客户端键执行流程将发生变化，如下所示，1. 客户端根据slot缓存发送命令到源节点，如果存在key则直接执行并返回结果。2. 如果key不存在，则可能存在于目标节点，这时会回复ASK重定向异常，格式如下：(error)ASKslottargetlP:targetPort。3. 客户单从ASK重定向异常提出目标节点信息，发送asking命令到目标节点打开客户端连接标识，再执行键命令。如果存在则执行，不存在则返回不存在信息。ASK与MOVED虽然都是对客户端进的重定向，但是有着本质区别，前者说明集群正在进行5lot数据迁移，所以只是临时性的重定向，不会更新slot缓存，但是MOVED重定向说明键对应的槽已经明确指定到新的节点，会更新slot缓存。模拟RedisClusterFAILOVER的过程模拟主节点故障，手动kill6379节点。1. 首先，该节点对应的从节点会有日志输出。16387:S15Oct10:34:30.149#Connectionwithmasterlost.16387:S15Oct10:34:30.149*Cachingthedisconnectedmasterstate.16387:S15Oct10:34:30.845*ConnectingtoMASTER127.0.0.1:637916387:S15Oct10:34:30.845*MASTERSLAVEsyncstarted16387:S15Oct10:34:30.845#ErrorconditiononsocketforSYNC:Connectionrefused16387:S15Oct10:34:49.994*MASTERSLAVEsyncstarted16387:S15Oct10:34:49.994#ErrorconditiononsocketforSYNC:Connectionrefused16387:S15Oct10:34:50.898*FAILmessagereceivedfrombd341bb4c10e0dbff593bf7bafb1309842fba155about72af03587f5e9f064721d3b3a92b1439b378562316387:S15Oct10:34:50.898#Clusterstatechanged:fail发现连接断开的时间点是10:34:30.149，判断其主观下线的时间为10:34:50，相差20s，这也是cluster-node-timeout的设置。2. 再来看看6380节点的日志。16383:M15Oct10:34:50.897*Markingnode72af03587f5e9f064721d3b3a92b1439b3785623asfailing(quorumreached).16383:M15Oct10:34:50.897#Clusterstatechanged:fail6381节点的日志同样如此，超过半数，因此标记6379节点为客观下线。3. 再来看看从节点的日志16387:S15Oct10:34:51.003*ConnectingtoMASTER127.0.0.1:637916387:S15Oct10:34:51.003*MASTERSLAVEsyncstarted16387:S15Oct10:34:51.003#Startofelectiondelayedfor566milliseconds(rank#0,offset154).16387:S15Oct10:34:51.003#ErrorconditiononsocketforSYNC:Connectionrefused从节点识别正在复制的主节点进入客观下线后准备选举时间，日志打印了选举延迟566毫秒之后执行。延迟选举时间到达后，从节点更新配置纪元并发起故障选举。16387:S15Oct10:34:51.605#Startingafailoverelectionforepoch7.4. 6380和6381主节点为从节点投票16385:M15Oct10:34:51.618#Failoverauthgrantedto886c1f990191854df1972c4bc4d928e44bd36937forepoch75. 从节点获取2个主节点投票之后，超过半数执行替换主节点操作，完成故障切换。16387:S15Oct10:34:51.622#Failoverelectionwon:Imthenewmaster.16387:S15Oct10:34:51.622#configEpochsetto7aftersuccessfulfailover16387:M15Oct10:34:51.622#SettingsecondaryreplicationIDto207c65316707a8ec2ca83725ae53ab49fa25dbfb,validuptooffset:155.NewreplicationIDis0ec4aac9562b3f4165244153646d9c900695373616387:M15Oct10:34:51.622*Discardingpreviouslycachedmasterstate.16387:M15Oct10:34:51.622#Clusterstatechanged:okFailove的流程、主观下线集群中每个节点都会定期向其他节点发送Ding消息，接收节点回复pong消息作为响应。如果在cluster-node-timeout时间内通信一直失败，则发送节点会认为接收节点存在故障，把接收节点标记为主观下线(pfail)状态。二、客观下线当某个节点判断另一个节点主观下线后，相应的节点状态会跟随消息在集群内传播。通Gossip消息传播，集群内节点不断收集到故障节点的下线报告。当半数以上持有槽的主节点都标记某个节点是主观下线时，触发客观下线流程。集群中的节点每次接收到其他节点的pfail状态，都会尝试触发客观下线，流程说明：1. 首先统计有效的下线报告数量，如果小于集群内持有槽的主节点总数的一半则退出。2. 当下线报告大于槽主节点数量一半时，标记对应故障节点为客观下线状态。3. 向集群广播一条fail消息，通知所有的节点将故障节点标记为客观下线，fail消息的消息体只包含故障节点的ID。广播fail消息是客观下线的最后一步，它承担着非常重要的职责：1. 通知集群内所有的节点标记故障节点为客观下线状态并立刻生效。2. 通知故障节点的从节点触发故障转移流程。三、故障切换故障节点变为客观下线后，如果下线节点是持有槽的主节点则需要在它的从节点中选出一个替换它，从而保证集群的高可用。下线主节点的所有从节点承担故障恢复的义务，当从节点通过内部定时任务发现自身复制的主节点进入客观下线时，将会触发故障切换流程。1. 资格检查每个从节点都要检查最后与主节点断线时间，判断是否有资格替换故障的主节点。如果从节点与主节点断线时间超过:luster-node-time*cluster-slave-validity-factor,则当前从节点不具备故障转移资格。参数cluster-slavevalidity-factor用于从节点的有效因子，默认为10。2. 准备选举时间当从节点符合故障切换资格后，更新触发切换选举的时间，只有到达该时间后才能执行后续流程。这里之所以采用延迟触发机制，主要是通过对多个从节点使用不同的延迟选举时间来支持优先级问题。复制偏移量越大说明从节点延迟越低，那么它应该具有更高的优先级来替换故障主节点。3. 发起选举当从节点定时任务检测到达故障选举时间(failover_auth_time)到达后，发起选举流程如下：1更新配置纪元2广播选举消息在集群内广播选举消息(FAILOVER_AUTH_REQUEST)，并记录已发送过消息的状态，保证该从节点在一个配置纪元内只能发起一次选举。4. 选举投票只有持有槽的主节点才会处理故障选举消息(FAILOVER_AUTH_REQUEST)，因为每个持有槽的节点在一个配置纪元内都有唯一的一张选票，当接到第一个请求投票的从节点消息时回复FAILOVER_AUTH_ACK消息作为投票，之后相同配置纪元内其他从节点的选举消息将忽略。Redis集群没有直接使用从节点进行领导者选举，主要因为从节点数必须大于等于3个才能保证凑够N/2+1个节点，将导致从节点资源浪费。使用集群内所有持有槽的主节点进行领导者选举，即使只有一个从节点也可以完成选举过程。5. 替换主节点当从节点收集到足够的选票之后，触发替换主节点操作：1当前从节点取消复制变为主节点。2执行clusterDelSlot操作撤销故障主节点负责的槽，并执行clusterAddSlot把这些槽委派给自己。3向集群广播自己的pong消息，通知集群内所有的节点当前从节点变为主节点并接管了故障主节点的槽信息。故障切换时间在介绍完故障发现和恢复的流程后，我们估算下故障切换时间：1主观下线(pfail)识别时间=cluster-node-timeout。2主观下线状态消息传播时从节点转移时间=1000毫秒。由于存在延迟发起选举机制，偏移量最大的从节点会最多延迟1秒发起选举。通常第一次选举就会成功，所以从节点执行转移时间在1秒以内。根据以上分析可以预估出故障转移时间，如下：failover-time(毫秒)cluster-node-timeout+cluster-node-timeout/2+1000因此，故障转移时间跟cluster-node-timeout参数息息相关，默认15秒。RedisCluster的相关参数cluster-enabled:是否开启集群模式。cluster-config-file:集群配置文件，由集群自动维护，不建议手动编辑。cluster-node-timeout:集群中每个节点都会定期向其他节点发送sing消息，接收节点回复pong消息作为响应。如果在cluster-node-timeout时间内通信一直失败，则发送节点会认为接收节点存在故障，把接收节点标记为主观下线pfail)状态。默认15000,即15scluster-slave-validity-factor每个从节点都要检查最后与主节点断线时间，判断其是否有资格替换故障的主节点。如果从节点与主节点断线时间超过luster-node-time*cluster-slave-validity-factor,则当前从节点不具备故障转移资格。cluster-migration-barrier:主节点需要的最小从节点数，只有达到这个数，才会将多余的从节点迁移给其它孤立的主节点使用。cluster-require-full-coverage:默认情况下当集群中16384个槽，有任何一个没有指派到节点时，整个集群是不可用的。对应在线上，如果某个主节点宕机，而又没有从节点的话，是不允许对外提供服务的。建议将该参数设置为no,避免某个主节点的故障导致其它主节点不可用。RedisCluster的相关命令CLUSTERADDSLOTSslotslot.:对当前节点手动分配slot。CLUSTERMEETipport:将其它节点添加到RedisCluster中。CLUSTERINFO:打印Cluster的相关信息。#redis-cli-cclusterinfocluster_state:okcluster_slots_assigned:16384cluster_slots_ok:16384cluster_slots_pfail:0cluster_slots_fail:0cluster_known_nodes:6cluster_size:3cluster_current_epoch:6cluster_my_epoch:1cluster_stats_messages_ping_sent:702cluster_stats_messages_pong_sent:664cluster_stats_messages_sent:1366cluster_stats_messages_ping_received:659cluster_stats_messages_pong_received:702cluster_stats_messages_meet_received:5cluster_stats_messages_received:1366CLUSTERKEYSLOTkey:查看key对应的slot127.0.0.1:6379clusterkeyslothello(integer)866127.0.0.1:6379clusterkeyslotworld(integer)9059127.0.0.1:6379clusterkeyslothellotag(integer)8338127.0.0.1:6379clusterkeyslotworldtag(integer)8338CLUSTERNODES:获取Cluster的节点信息，与当前节点的集群配置文件中的内容基本一致，只不过后者还会维护当前节点的配置纪元。rootslowtechconf#redis-cli-p6380-cclusternodes72969ae6214dce5783d5b13b1bad34701303e96c127.0.0.1:638216382slave7396e133fd8143335d5991734e68fcfcfc5adfd1015395949596924connecteda0efce44c96f95b2cdaf1101805710f41dfe4d06127.0.0.1:638116381master-015395949627243connected10923-16383276cf1128c50faa81a6b073079cc5e2c7a51a4ec127.0.0.1:638016380myself,master-015395949580002connected5461-10922b39826ebe9e741c8dc1fea7ee6966a42c5030726127.0.0.1:638416384slavea0efce44c96f95b2cdaf1101805710f41dfe4d06015395949610006connected81f99ce264626895e30a5030ac27b84efedfa622127.0.0.1:638316383slave276cf1128c50faa81a6b073079cc5e2c7a51a4ec015395949617135connected7396e133fd8143335d5991734e68fcfcfc5adfd1127.0.0.1:637916379master-015395949607031connected0-5460rootslowtechconf#catnodes-6380.conf72969ae6214dce5783d5b13b1bad34701303e96c127.0.0.1:638216382slave7396e133fd8143335d5991734e68fcfcfc5adfd1015395929725694connecteda0efce44c96f95b2cdaf1101805710f41dfe4d06127.0.0.1:638116381master-015395929690003connected10923-16383276cf1128c50faa81a6b073079cc5e2c7a51a4ec127.0.0.1:638016380myself,master-015395929690002connected5461-10922b39826ebe9e741c8dc1fea7ee6966a42c5030726127.0.0.1:638416384slavea0efce44c96f95b2cdaf1101805710f41dfe4d06015395929710006connected81f99ce264626895e30a5030ac27b84efedfa622127.0.0.1:638316383slave276cf1128c50faa81a6b073079cc5e2c7a51a4ec015395929710005connected7396e133fd8143335d5991734e68fcfcfc5adfd1127.0.0.1:637916379master-015395929715581connected0-5460varscurrentEpoch6lastVoteEpoch0CLUSTERREPLICATEnode-id:在对应的从节点上执行，后面接的是主节点的节点D。CLUSTERSLAVESnode-id:查看某个节点的从节点。rootslowtechconf#redis-cli-cclusterslavesa0efce44c96f95b2cdaf1101805710f41dfe4d061) b39826ebe9e741c8dc1fea7ee6966a42c5030726127.0.0.1:638416384slavea0efce44c96f95b2cdaf1101805710f41dfe4d06015395964090006connectedrootslowtechconf#redis-cli-cclusterslavesb39826ebe9e741c8dc1fea7ee6966a42c5030726(error)ERRThespecifiednodeisnotamasterCLUSTERSLOTS:输出slot与节点的映射关系。#redis-cliclusterslots1) 1)(integer)54612) (integer)109223) 1)127.0.0.12) (integer)63803) 276cf1128c50faa81a6b073079cc5e2c7a51a4ec4) 1)127.0.0.12) (integer)63833) 81f99ce264626895e30a5030ac27b84efedfa6222) 1)(integer)02) (integer)54603) 1)127.0.0.12) (integer)63793) 7396e133fd8143335d5991734e68fcfcfc5adfd14) 1)127.0.0.12) (integer)63823) 72969ae6214dce5783d5b13b1bad34701303e96c3) 1)(integer)109232) (integer)163833) 1)127.0.0.12) (integer)63813) a0efce44c96f95b2cdaf1101805710f41dfe4d064) 1)127.0.0.12) (integer)63843) b39826ebe9e741c8dc1fea7ee6966a42c5030726READONLY:默认情况下，从节点不对外提供读服务，即使收到了读请求，也会重定向到对应的主节点。若要读节点对外提供读服务，可执行eadonly。#redis-cli-p6382127.0.0.1:6382getk3(error)MOVED4576127.0.0.1:6379127.0.0.1:6382readonlyOK127.0.0.1:6382getk3helloREADWRITE:关闭READONLY选项。#redis-cli-p6382127.0.0.1:6382getk3(error)MOVED4576127.0.0.1:6379127.0.0.1:6382readonlyOK127.0.0.1:6382getk3hello127.0.0.1:6382readwriteOK127.0.0.1:6382getk3(error)MOVED4576127.0.0.1:6379CLUSTERSETSLOTslotIMPORTING|MIGRATING|STABLE|NODEnode-id:设置slot的状态。CLUSTERDELSLOTSslotslot.:注意：1.是否开启集群模式，从进程名中也可看出。rootslowtechconf#ps-ef|grepredisroot174971020:18?root177201020:21?root177271020:21?root177341020:21?root177411020:21?root177481020:21?root1815415726020:2900:00:00redis-server127.0.0.1:6379cluster00:00:00redis-server127.0.0.1:6380cluster00:00:00redis-server127.0.0.1:6381cluster00:00:00redis-server127.0.0.1:6382cluster00:00:00redis-server127.0.0.1:6383cluster00:00:00redis-server127.0.0.1:6384clusterpts/500:00:00grep-color=autoredis