Redis源码剖析--源码结构解析
请持续关注我的个人博客:https://zcheng.ren
找工作那会儿,看了黄建宏老师的《Redis设计与实现》,对redis的部分实现有了一个简明的认识。在面试过程中,redis确实成为了面试官考核我的一个亮点,恰好以后的工作又与redis有着千丝万缕的联系,于是就想趁着毕业前的这段时间把redis的源代码研究一下,为以后的工作打个良好的基础。
Redis简介
redis全称REmote DIctionary Server,是一个由Salvatore Sanfilippo写的高性能key-value存储系统,其完全开源免费,遵守BSD协议。Redis与其他key-value缓存产品(如memcache)有以下几个特点。
+ Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。
+ Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储。
+ Redis支持数据的备份,即master-slave模式的数据备份。
Redis的性能极高且拥有丰富的数据类型,同时,Redis所有操作都是原子性的,也支持对几个操作合并后原子性的执行。另外,Redis有丰富的扩展特性,它支持publish/subscribe, 通知,key 过期等等特性。
Redis更为优秀的地方在于,它的代码风格极其精简,整个源码只有23000行,很有利于阅读和赏析!还在等什么呢?Start!
如何获取Redis源码?
redis是完全开源的,其源代码可以在直接在官网上获取(目前最新版本是3.2.5)。执行以下指令:
cd ... // 这里打开你存放redis的文件夹
wget http://download.redis.io/releases/redis-3.2.5.tar.gz
tar zxvf redis-3.2.5.tar.gz
此时,进入解压后的redis目录下的src文件夹,redis的所有源代码都存放在此。
[root@VM_123_20_centos redis-3.2.5]# cd src/
[root@VM_123_20_centos src]# ls
Makefile crc64.h mkreleasehdr.sh redis-cli.o sort.o
Makefile.dep crc64.o multi.c redis-sentinel sparkline.c
adlist.c db.c multi.o redis-server sparkline.h
adlist.h db.o networking.c redis-trib.rb sparkline.o
adlist.o debug.c networking.o redisassert.h syncio.c
ae.c debug.o notify.c release.c syncio.o
ae.h debugmacro.h notify.o release.h t_hash.c
ae.o dict.c object.c release.o t_hash.o
ae_epoll.c dict.h object.o replication.c t_list.c
ae_evport.c dict.o pqsort.c replication.o t_list.o
ae_kqueue.c endianconv.c pqsort.h rio.c t_set.c
ae_select.c endianconv.h pqsort.o rio.h t_set.o
anet.c endianconv.o pubsub.c rio.o t_string.c
anet.h fmacros.h pubsub.o scripting.c t_string.o
anet.o geo.c quicklist.c scripting.o t_zset.c
aof.c geo.h quicklist.h sds.c t_zset.o
aof.o geo.o quicklist.o sds.h testhelp.h
asciilogo.h help.h rand.c sds.o util.c
bio.c hyperloglog.c rand.h sdsalloc.h util.h
bio.h hyperloglog.o rand.o sentinel.c util.o
bio.o intset.c rdb.c sentinel.o valgrind.sup
bitops.c intset.h rdb.h server.c version.h
bitops.o intset.o rdb.o server.h ziplist.c
blocked.c latency.c redis-benchmark server.o ziplist.h
blocked.o latency.h redis-benchmark.c setproctitle.c ziplist.o
cluster.c latency.o redis-benchmark.o setproctitle.o zipmap.c
cluster.h lzf.h redis-check-aof sha1.c zipmap.h
cluster.o lzfP.h redis-check-aof.c sha1.h zipmap.o
config.c lzf_c.c redis-check-aof.o sha1.o zmalloc.c
config.h lzf_c.o redis-check-rdb slowlog.c zmalloc.h
config.o lzf_d.c redis-check-rdb.c slowlog.h zmalloc.o
crc16.c lzf_d.o redis-check-rdb.o slowlog.o
crc16.o memtest.c redis-cli solarisfixes.h
crc64.c memtest.o redis-cli.c sort.c
源代码结构解析
看了上面src目录下的文件,简直让人眼花缭乱。这里不得不批评以下redis的作者啊,都没有整理一下源代码,统统都放在一个文件夹下。
正所谓不打无准备的仗,拿到源码之后,我们首先要对这些文件进行一个分类,来规划一下我们的阅读顺序。这里介绍一下在网上看到的源码阅读方法(摘自redis源码解析)。
- 自底向上:从耦合关系最小的模块开始读,然后逐渐过度到关系紧密的模块。就好像写程序的测试一样,先从单元测试开始,然后才到功能测试。
- 从功能入手:通过文件名(模块名)和函数名,快速定位到一个功能的具体实现,然后追踪整个实现的运作流程,从而了解该功能的实现方式。
- 自顶向下:从程序的 main() 函数,或者某个特别大的调用者函数为入口,以深度优先或者广度优先的方式阅读它的源码。
另外,按照黄健宏老师《如何阅读 Redis 源码?》一文中介绍的redis阅读方法,基本上可以将上述文件进行合理的拆分,以便于对其进行一一攻破。
按照上图对Redis源码的模块划分,初步确定一下源码的学习路线如下:
第一阶段
阅读Redis的数据结构部分,基本位于如下文件中:
+ 内存分配 zmalloc.c和zmalloc.h
+ 动态字符串 sds.h和sds.c
+ 双端链表 adlist.c和adlist.h
+ 字典 dict.h和dict.c
+ 跳跃表 server.h文件里面关于zskiplist结构和zskiplistNode结构,以及t_zset.c中所有zsl开头的函数,比如 zslCreate、zslInsert、zslDeleteNode等等。
+ 日志类型 hyperloglog.c 中的 hllhdr 结构, 以及所有以 hll 开头的函数
第二阶段
熟悉Redis的内存编码结构
+ 整数集合数据结构 intset.h和intset.c
+ 压缩列表数据结构 ziplist.h和ziplist.c
第三阶段
熟悉Redis数据类型的实现
+ 对象系统 object.c
+ 字符串键 t_string.c
+ 列表建 t_list.c
+ 散列键 t_hash.c
+ 集合键 t_set.c
+ 有序集合键 t_zset.c中除 zsl 开头的函数之外的所有函数
+ HyperLogLog键 hyperloglog.c中所有以pf开头的函数
第四阶段
熟悉Redis数据库的实现
+ 数据库实现 redis.h文件中的redisDb结构,以及db.c文件
+ 通知功能 notify.c
+ RDB持久化 rdb.c
+ AOF持久化 aof.c
以及一些独立功能模块的实现
+ 发布和订阅 redis.h文件的pubsubPattern结构,以及pubsub.c文件
+ 事务 redis.h文件的multiState结构以及multiCmd结构,multi.c文件
第五阶段
熟悉客户端和服务器端的代码实现
+ 事件处理模块 ae.c/ae_epoll.c/ae_evport.c/ae_kqueue.c/ae_select.c
+ 网路链接库 anet.c和networking.c
+ 服务器端 redis.c
+ 客户端 redis-cli.c
这个时候可以阅读下面的独立功能模块的代码实现
+ lua脚本 scripting.c
+ 慢查询 slowlog.c
+ 监视 monitor.c
第六阶段
这一阶段主要是熟悉Redis多机部分的代码实现
- 复制功能 replication.c
- Redis Sentinel sentinel.c
- 集群 cluster.c
其他代码文件介绍
关于测试方面的文件有:
+ memtest.c 内存检测
+ redis_benchmark.c 用于redis性能测试的实现。
+ redis_check_aof.c 用于更新日志检查的实现。
+ redis_check_dump.c 用于本地数据库检查的实现。
+ testhelp.c 一个C风格的小型测试框架。
一些工具类的文件如下:
+ bitops.c GETBIT、SETBIT 等二进制位操作命令的实现
+ debug.c 用于调试时使用
+ endianconv.c 高低位转换,不同系统,高低位顺序不同
+ help.h 辅助于命令的提示信息
+ lzf_c.c 压缩算法系列
+ lzf_d.c 压缩算法系列
+ rand.c 用于产生随机数
+ release.c 用于发布时使用
+ sha1.c sha加密算法的实现
+ util.c 通用工具方法
+ crc64.c 循环冗余校验
+ sort.c SORT命令的实现
一些封装类的代码实现:
+ bio.c background I/O的意思,开启后台线程用的
+ latency.c 延迟类
+ migrate.c 命令迁移类,包括命令的还原迁移等
+ pqsort.c 排序算法类
+ rio.c redis定义的一个I/O类
+ syncio.c 用于同步Socket和文件I/O操作
整个Redis的源码分类大体上如上所述了,接下来就按照既定的几个阶段一一去分析Redis这款如此优秀的源代码吧!
Ps: 又给自己制定了一个艰巨的计划,希望自己能像之前一样坚持下去,一点一点去剖析,相信最后会收获很多!
Redis源码剖析--源码结构解析的更多相关文章
- JQuery源码之“对象的结构解析”
吃完午饭,觉得有点发困,想起了以后我们的产品可能要做到各种浏览器的兼容于是乎不得不清醒起来!我们的web项目多数是依赖于Jquery的.据了解,在Jquery的2.0版本以后对IE的低端版本浏览器不再 ...
- Appuim源码剖析(Bootstrap)
Appuim源码剖析(Bootstrap) SkySeraph Jan. 26th 2017 Email:skyseraph00@163.com 更多精彩请直接访问SkySeraph个人站点:www. ...
- Guava 12:Guava EventBus源码剖析
一.架构速读 传统上,Java的进程内事件分发都是通过发布者和订阅者之间的显式注册实现的.设计EventBus就是为了取代这种显示注册方式,使组件间有了更好的解耦.EventBus不是通用型的发布-订 ...
- 并发编程之 ThreadLocal 源码剖析
前言 首先看看 JDK 文档的描述: 该类提供了线程局部 (thread-local) 变量.这些变量不同于它们的普通对应物,因为访问某个变量(通过其 get 或 set 方法)的每个线程都有自己的局 ...
- Redis源码剖析
Redis源码剖析和注释(一)---链表结构 Redis源码剖析和注释(二)--- 简单动态字符串 Redis源码剖析和注释(三)--- Redis 字典结构 Redis源码剖析和注释(四)--- 跳 ...
- 豌豆夹Redis解决方案Codis源码剖析:Dashboard
豌豆夹Redis解决方案Codis源码剖析:Dashboard 1.不只是Dashboard 虽然名字叫Dashboard,但它在Codis中的作用却不可小觑.它不仅仅是Dashboard管理页面,更 ...
- 豌豆夹Redis解决方案Codis源码剖析:Proxy代理
豌豆夹Redis解决方案Codis源码剖析:Proxy代理 1.预备知识 1.1 Codis Codis就不详细说了,摘抄一下GitHub上的一些项目描述: Codis is a proxy base ...
- 我的书籍《深入解析Java编译器:源码剖析与实例详解》就要出版了
一个十足的技术迷,2013年毕业,做过ERP.游戏.计算广告,在大公司呆过,但终究不满足仅对技术的应用,在2018年末离开了公司,全职写了一本书<深入解析Java编译器:源码剖析与实例详解> ...
- 【安卓网络请求开源框架Volley源码解析系列】定制自己的Request请求及Volley框架源码剖析
通过前面的学习我们已经掌握了Volley的基本用法,没看过的建议大家先去阅读我的博文[安卓网络请求开源框架Volley源码解析系列]初识Volley及其基本用法.如StringRequest用来请求一 ...
随机推荐
- 关于跨域GET、POST请求的小结//////////////////////zzzzzzz
JQuery:$.ajax/$.getJSON支持jsonp格式的跨域,但是只支持GET方式,暂不支持POST: so,跨域POST是个值得研究的问题啊!万能的JQuery无法跨域POST:鉴于基本国 ...
- texrecon进行纹理映射
使用texrecon进行纹理映射: 1) 跳转到mesh所在目录 cd meshdir 2) 参数 a) texrecon.exe b) bun ...
- wpf listview 换行
<ListView Name="listView1" VerticalAlignment="Top" Height="600" Ma ...
- 韩系高端PK:whoo后VS雪花秀(转载)
产品广告代言人是李英爱(韩剧“大长今”的扮演者)产品设计也是贵妇风格.------------//就是大长今的女主角用过的牌子 LG旗下的WHOO后 WHOO后洁面霜:这是我非常喜欢的洁面霜,淡黄色 ...
- android4.4.2 短信广播变更
近期三星陆续放出android4.4.2ROM更新包,android4.4.2对短信虽说是放开了权限,但其实是加强了限制,一台手机智能通过一个设置为默认应用的短信应用软件才能发送短信,否则就无法对短信 ...
- 获取json对象长度的问题
平时,我们获取一些字符串或数组的长度的时候会使用length,例如: var str ="asdasd" console.log(str.length) //输出6 var arr ...
- javaScript系列:JSON详解
JSON详解 JSON的全称是”JavaScript Object Notation”,意思是JavaScript对象表示法,它是一种基于文本,独立于语言的轻量级数据交换格式.XML也是一种数据交 ...
- 170830、oracle密码过期ORA-28002: 7天之后口令将过期的解决方法
登陆oracle数据库时错误信息提示:“ORA-28002: 7 天之后口令将过期”. 原因:oracle11g中默认在default概要文件中设置了"PASSWORD_LIFE_TIME= ...
- iOS9 Error Domain=NSURLErrorDomain Code=-1022 App Transport Security (ATS)
iOS 9在HTTP 访问时会出错 iOS9 Error Domain=NSURLErrorDomain Code=-1022 这时需要修改info.plist 文件 在Info.plist中添加N ...
- python初识(三)
目录: 字符编码 文件操作 循环结构拾遗 函数 整体介绍 函数的参数 函数的返回值 函数的调用 自定义函数 一.字符编码 1.了解字符编码的知识储备 a. 文件编辑存取文件的原理(nodepad++, ...