普通的 Hash 解决的是什么问题?

下图是一个普通的余数法构造的哈希表。

一般在编程中使用哈希表,某个 bucket 突然就没了的概率比较小,常见的是因为负载因子太大需要增加 bucket,然后 rehash。

考虑在上图中,2 号 bucket 突然就没了会发生什么情形。

最直接的做法就是,后面的 bucket 依次往前面补位,然后重新计算 key 的 hash 值。

2 号 bucket 虽然只存放了一个 key,但是由于 2 号 bucket 的丢失,导致后面所有 bucket 存放的 key 的映射关系都失效了。

如果这个 hash 表在内存中,无非就是 rehash 一下,重新建立对应关系,问题不大。

但如果这种情况发生在分布式缓存中呢?这会导致大量的缓存失效,有可能导致很多请求直接冲到后端。

想想看,本来想用分布式缓存扛流量,结果仅仅因为其中一台缓存服务器挂掉了而导致整个缓存系统不可用,太脆弱了。

问题在于:每一个 key 映射到 bucket 的规则太精确了,完全没有余地,每个 bucket 挨得太密。对 key 计算完后的 hash 值直接指向了 bucket。

我是这么理解的,这种 Hash 表就好像多米诺骨牌,只要把其中的一块推倒,那么直接到后面的多米诺骨牌都倒了(对应的就是映射关系全失效了)。

一致性 Hash 是怎么解决这个问题的呢?

1997 年,麻省理工学院(MIT)的 David Karger 等 6 个人发布学术论文:

《Consistent hashing and random trees: distributed caching protocols for relieving hot spots on the World Wide Web》

中文翻译就是:一致性哈希和随机树:用于缓解万维网上热点的分布式缓存协议。

我想用我的理解来讲,接上面提到的看法是,这些 bucket 都挨得太紧密了,那这样得话,我何不就把每个 bucket 的距离搞得足够长呢?

原来 Hash 表的长度可能是 57,103,947,或者 2053 这种质数。

这次我玩一把大的,直接 Hash 表的长度是 2^32-1,然后把桶分布在这个上面,大概长这样:

我不太喜欢用环来描述,脑子不太好使,还是用最简单的数组描述把。

虽然这个一致性 Hash 表很长,但是真正用来装数据的 bucket 不多,bucket 通过 hash 算法(方法有很多)能均匀分布到这个很长的数组中。

一个 key 准备存取或者查找的过程是这样的:

怎么样,是不是很简单?不过事情还没完。

这样的好处就是,bucket 之间是隔离开的,增加或者减少 bucket 只会对局部有影响,不会影响到全局,具体自己去分析吧。

一致性 Hash 倾斜的问题

如果说实际的 bucket 本来就很少呢?这样会导致大量的键和某个 bucket 建立映射,key 分布不均匀。

这里的解决方法挺厉害的,就是虚拟 bucket,也就是我一个实际的 bucket 可以虚拟出很多个 bucket 来,那么这些虚拟的 bucket 只是名字和实际 bucket 不一样。

然后虚拟节点也会挂在 Hash 表中,类似这样的:

虚拟出来的节点越多,key 的分布越均匀。

总结

1. 隔离不同的 bucket,bucket 的增加或者减少只对局部有影响

2. 虚拟节点解决 key 分布不均匀

算法没有思想重要!

我想看了上面这些,应该可以自己写一个简单版的 Consistent Hash 了。下次我写个很 low 逼的给你们看看。

一致性 Hash 学习与实现的更多相关文章

  1. 分布式缓存技术memcached学习(四)—— 一致性hash算法原理

    分布式一致性hash算法简介 当你看到“分布式一致性hash算法”这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么.在分析分布式一致性hash算法原理之前,我们先来了解一下这几 ...

  2. swift学习之一致性hash

    转自:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标 ...

  3. 分布式缓存技术memcached学习系列(四)—— 一致性hash算法原理

    分布式一致性hash算法简介 当你看到"分布式一致性hash算法"这个词时,第一时间可能会问,什么是分布式,什么是一致性,hash又是什么.在分析分布式一致性hash算法原理之前, ...

  4. Java 一致性Hash算法的学习

    目前我们很多时候都是在做分布式系统,但是我们需把客户端的请求均匀的分布到N个服务器中,一般我们可以考虑通过Object的HashCodeHash%N,通过取余,将客户端的请求分布到不同的的服务端.但是 ...

  5. 对一致性Hash算法,Java代码实现的深入研究

    一致性Hash算法 关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中"一致性Hash算法"部分,对于为什么要使用一致性Hash算法.一致性 ...

  6. Java实现一致性Hash算法深入研究

    一致性Hash算法 关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中”一致性Hash算法”部分,对于为什么要使用一致性Hash算法和一致性Hash算法的算法原 ...

  7. 百度资深架构师带你深入浅出一致性Hash原理

    一.前言 在解决分布式系统中负载均衡的问题时候可以使用Hash算法让固定的一部分请求落到同一台服务器上,这样每台服务器固定处理一部分请求(并维护这些请求的信息),起到负载均衡的作用. 但是普通的余数h ...

  8. 分布式一致性hash算法

    写在前面  在学习Redis的集群内容时,看到这么一句话:Redis并没有使用一致性hash算法,而是引入哈希槽的概念.而分布式缓存Memcached则是使用分布式一致性hash算法来实现分布式存储. ...

  9. 集群扩容的常规解决:一致性hash算法

    写这篇博客是因为之前面试的一个问题:如果memcached集群需要增加机器或者减少机器,那么其他机器上的数据怎么办? 最后了解到使用一致性hash算法可以解决,下面一起来学习下吧. 声明与致谢: 本文 ...

随机推荐

  1. 从list表单序列化后的值转成标准json

    var json = {"name":["1111","222"],"sex":["男"," ...

  2. linux添加私有的ip

    在虚拟机上的网络适配器设置为仅主机模式,重启linux系统,ifconfig查看所得的就是linux自动配置的私有ip.

  3. mysql linux备份shell

    #!/bin/bash# export and backup the activity.sql  mysqldump  -uname -password activity --skip-lock-ta ...

  4. http://www.blogjava.net/nokiaguy/category/37087.html

    http://www.blogjava.net/nokiaguy/category/37087.html

  5. js的基本概念详解

    来自<javascript高级程序设计 第三版:作者Nicholas C. Zakas>的学习笔记(三) 如果你刚学js,想快速了解到js的基本概念,以下将会是一篇不错的引导文章: 语法 ...

  6. javascript-设置div隐藏

    html code: <div class="title"> <ul id="col02_left_title"> <li> ...

  7. ASP.NET菜鸟之路之Request小例子

    背景 我是一个ASP.NET菜鸟,暂时开始学习ASP.NET,在此记录下我个人敲的代码,没有多少参考价值,请看到的盆友们为我点个赞支持我一下,多谢了. Request获取值 Request获取值有两种 ...

  8. oracle时间戳转换

    select (to_date('2013-04-09 14:02:15','yyyy-mm-dd hh24:mi:ss') - to_date('1970-01-01','yyyy-mm-dd')) ...

  9. Oracle基础(五):多表查询

    一.多表查询 (一)简单多表查询 1.多表查询的机制 1)SQL: SELECT * FROM emp; --14条记录 SELECT * FROM dept;--4条记录 SELECT * FROM ...

  10. AMQP(Advanced Message Queuing Protocol)

    一套确定的消息交换功能,也就是“高级消息交换协议模型”.AMQP模型包括一套用于路由和存储消息的功能模块,以及一套在这些模块之间交换消息的规则. 一个网络线级协议(数据传输格式),客户端应用可以通过这 ...