官网定义: netty是一个异步、事件驱动的网络应用框架,用于快速开发可维护的、高性能的服务端和客户端程序。

原理分析

Architecture Overview

网络模型:netty采用了Reactor设计模式,Reactor设计可分三种:

单线程版本,如图:

学C的朋友会知道IO多路复用,我感觉和这个Reactor模式差不多,Reactor收到新连接调用acceptor的accept,返回的SocketChannel会注册到Reactor里,当连接可读或者可写时,分发一个handler处理。

多线程版本,如图:

处理部分增加了线程池。

Multi-Reactor版本:

监听端口注册到mainReactor里,有连接,调用accept,返回的连接注册到subReactor里,subReactor只负责读写,处理部分交给线程池。

Netty采用的方式类似于第三种,Netty3.6里mainReactor对应Boss类,subReactord对应NioWorker类;4.x里是实现EventLoopGroup接口的某个类,如NioEventLoopGroup(multithreaded event loop that handles I/O operation),EventLoopGroup相当于管理EventLoop的线程池,thread数量是可以配置的,echoServer例子中:

42,43行就是boss和worker了,ServerBootstrap是设置服务器的帮助类。

47行用NioServerSocketChannel类说明后面会用它去实例channel来接受incoming连接。

48行option方法可以指定Channel实现的方式。

50行:subReactor监听的channel来事件了,处理方法要通过childHandler方法指定,这是需要我们实现的,childHandler方法的参数是ChannelHandler接口的某个类,然后回调;拿FactorialServerInitializer举例,层次关系如图:

ChannelInitializer用来配置channel,这里要实现抽象类ChannelInitializer里的initChannel方法,意味着要在initChannel方法里配置pipeline。

我们观察EventLoopGroup类,如下图所示:

EventExecutor和EventLoopGroup都包含通用的 event loop API;EventLoopGroup有register方法,提供向其注册channel,返回ChannelFuture;

Netty Pipeline:

每个channel都有自己的pipeline,channel创建则对应的pipeline自动创建,下图显示了IO事件如何通过ChannelHandler在ChannelPipeline中处理的:

在pipeline里,每个stage运行一个InboundHandler或OutboundHandler,设计过MIPS经典五段pipeline的朋友应该知道锁存器设计,这里对应ChannelHandlerContext,ChannelHandlerContext可以通知ChannelPipeline里下一个ChannelHandler工作,并把事件流传给下一个ChannelHandler,也可以动态修改它所属的ChannelPipeline;

Inbound事件流传递方法:

Outbound事件流传递方法:

我们看下官网的例子,io.netty.example.factorial 这个包,Pipeline部分(服务端):

当Socket.read()发生时,handler处理事件的顺序是:BigIntegerDecoder->FactorialServeHandler

当Socket.write()发生时,handler处理事件的顺序是:NumberEncoder

ChannelInboundHandlerAdapter的方法:

ChannelOutboundHandlerAdapter的方法:

关于Pipeline的一些说明:并不是一个阶段执行完了,才去执行下一个阶段,而是每个Handler有对应的事件处理方法(如上ChannelInboundHandlerAdapter和ChannelOutboundHandlerAdapter中的方法),当这个Handler接收到了某事件,就会调用这个事件处理方法,然后会触发下个Handler对应的事件处理方法,下面用自带的io.netty.example.http.helloworld包验证这个想法(在方法里插了输出):

Socket.read():HttpServerCodec->HttpHelloWorldServerHandler;

Socket.write():HttpServerCodec

Zero Copy:

Netty里用到了ZC技术,这里是介绍ZeroCopy比较好的一篇文章,Netty里FileRegion就是用来支持ZeroCopy的接口,ZC在传输大文件时比较有优势,把大文件指定到Channel上,直接传输,不经过Application层。

Channel包:

Channel接口封装了socket,提供IO操作(如read,write,connect,bind等)的组建,具体属性、方法可参考文档;

ChannelFuture接口继承了io.netty.util.concurrent.Future,Netty中IO调用均是异步的,调用立即返回,返回结果记录在ChannelFuture里,ChannelFuture随着IO操作的开始而被创建,它的状态可以是完成或者未完成,初始态是未完成,状态如下:

我们可以通过向ChannelFuture里增加和删除ChannelFutureListener(继承GenericFutureListener)(通过addListener(s)、removeListener(s)方法),IO操作完成时触发GenericFutureListener的operationComplete方法执行,这是异步的操作;我们也可以调用ChannelFuture的await方法阻塞Control Flow,直到ChannelFuture完成。

ChannelPipeline已在上文介绍;

Buffer包:

Netty使用自己的buffer API处理字节序列,而不是使用NIO自带的buffer,这样的定制有很多优势吧,官方文档是这么说的:在常见的网络应用中,我们会有一些buffer,它们经常需要组装成一个buffer,netty提供composite buffer,它允许你把已经存在的几个buffer组合起来创建一个virtual buffer,不需要内存拷贝:

还有许多协议的MTU都是不确定的,Netty允许你创建动态大小的buffer,来降低内存开销。

Channel读的数据会写到实现ByteBuf接口的某个类里,ByteBuf里数据满了,会调用handler处理,io.netty.handler.codec包里面会有一些类把package frame,也就是收到的ByteBuf decode成Message,交给handler处理;ByteBuf提供Java nio缓存(ByteBuffer)类似的方法,ByteBuf接口的实现层次图:

buffer包中有一个帮助类Unpooled,用于创建ByteBuf,所有的ByteBuf都是通过ByteBufAllocatore和UnpooledByteBufAllocator分配的,在Unpooled类里,默认的分配器是UnpooledByteBufAllocator,默认分配的ByteBuf类型是UnpooledHeapByteBuf;

HeapByteBuf是在Java堆上分配内存;DirectByteBuf用的是NIO的ByteBuffer,CompositeByteBuf是一个虚拟的buffer,将多种buffer合并成一个buffer;

细心的同学会看到PoolByteBuf和UnpooledByteBuf,PoolByteBuf是4.0新引入的,设计思想借鉴jemalloc(core:混合了slab分配器和buddy分配器),优点是减少内存碎片,Slab分配器是基于对象管理的,分配对象,直接从Slab系统里拿,无需再次初始化,释放对象,则保留在Slab系统里,标记为脏,不需释放,降低GC压力;

io.netty.handler.codec包:

ByteToMessageCodec类封装了ByteToMessageDecoder和MessageToByteEncoder(都作为Pipeline Handler);我们先观察ByteToMessageDecoder,其可以将流式的字节转化成消息类型,他有一个成员cumulation(ByteBuf类型),收消息时会把收到的msg(ByteBuf类型)传递给cumulation,数据准备好后调用callDecode,callDecode进一步调用decode方法(具体分帧方法),这个方法交给子类实现;MessageToByteEncoder里的write方法同理,write里调用子类实现的encode方法将消息encode成ByteBuf,发送出去。

Netty in Twitter:

写Netty的同学在twitter工作,twitter的新搜索架构Blender就是基于Netty的,如果您能FQ,可以访问这里,否则中文在这里,英文在这里,来了解Blender的架构。

 

转载自:http://www.cnblogs.com/wjp1991/p/3204272.html

Netty4.x分析(转)的更多相关文章

  1. Netty4.x分析

    官网定义: netty是一个异步.事件驱动的网络应用框架,用于快速开发可维护的.高性能的服务端和客户端程序. 原理分析  Architecture Overview 网络模型:netty采用了Reac ...

  2. 【Netty学习】 ChannelInitializer 学习

    ChannelInitializer在Netty中是一个很重要的东西.也是4.x版本中用户接触比较多的一个类 它本身是继承ChannelInboundHandlerAdapter的.实现Channel ...

  3. netty4.0.x源码分析—bootstrap

    Bootstrap的意思就是引导,辅助的意思,在编写服务端或客户端程序时,我们都需要先new一个bootstrap,然后基于这个bootstrap调用函数,添加eventloop和handler,可见 ...

  4. gRPC源码分析0-导读

    gRPC是Google开源的新一代RPC框架,官网是http://www.grpc.io.正式发布于2016年8月,技术栈非常的新,基于HTTP/2,netty4.1,proto3.虽然目前在工程化方 ...

  5. 消息中间件MetaQ高性能原因分析-转自阿里中间件

    简介 MetaQ是一款高性能的消息中间件,经过几年的发展,已经非常成熟稳定,历经多年双11的零点峰值压测,表现堪称完美. MetaQ当前最新最稳定的稳本是3.x系统,MetaQ 3.x重新设计和实现, ...

  6. Netty4 中的内存管理

    在Netty4中引入了新的内存管理机制极大地提升其性能,本文将对该内在管理机制进行剖析. 这里有篇文章讲述了在推特(Twitter)内部 使用Netty的状况以及Netty4所带来的性能收益. 在分析 ...

  7. netty源码分析

    1.Netty是由JBOSS提供的一个java开源框架.Netty提供异步的.事件驱动的网络应用程序框架和工具,用以快速开发高性能.高可靠性的网络服务器和客户端程序.也就是说,Netty 是一个基于N ...

  8. Netty4.0.24.Final 版本中 IdleStateHandler 使用时的局限性

    使用Netty在客户端和服务端建立通讯通道,一般来说,一个连接可能很久没有访问,由于各种各样的网络问题导致连接已经失效,客户端再次发送请求时会产生连接异常. 基于这个原因,需要在客户端和服务端之间建立 ...

  9. netty : NioEventLoopGroup 源码分析

    NioEventLoopGroup 源码分析 1. 在阅读源码时做了一定的注释,并且做了一些测试分析源码内的执行流程,由于博客篇幅有限.为了方便 IDE 查看.跟踪.调试 代码,所以在 github ...

随机推荐

  1. 原生js焦点轮播图

    原生js焦点轮播图主要注意这几点: 1.前后按钮实现切换,同时注意辅助图2.中间的button随着前后按钮对应切换,同时按button也能跳转到相应的index3.间隔调用与无限轮播.4.注意在动画时 ...

  2. awk 的使用方法

    awk 的使用方法 我们知道 awk 的常用变量包括: $0 当前记录(这个变量中存放着整个行的内容) $1~$n 当前记录的第 n个字段,字段间由 FS 分隔 NF 当前记录中的字段个数,就是有多少 ...

  3. Android应用性能测试

    Android应用性能测试 Android用户也许会经常碰到以下的问题: 1)应用后台开着,手机很快没电了——应用耗电大 2)首次/非首次启动应用,进入应用特别慢——应用启动慢 3)应用使用过程中,越 ...

  4. Android判断当前线程是否是主线程的方法

    开发过程中有时候会在Thread类中执行某些操作,有些操作会由于Android版本的不同,尤其是低版本而Crash,因此必要的时候会查看某些容易引起crash的操作是否是在主线程,这里举三种方法: 方 ...

  5. A除以B问题

    描述:本题要求计算A/B,其中A是不超过1000位的正整数,B是1位正整数.你需要输出商数Q和余数R,使得A = B * Q + R成立. 输入:输入在1行中依次给出A和B,中间以1空格分隔. 输出: ...

  6. Linux基于libmemcached,php扩展memcached的安装

    安装环境:CentOS 6.4 php的扩展memcache,不支持cas,所以我们要装memcached扩展,memcached扩展是基于libmemcached,所以要先安装libmemcache ...

  7. 【iCore系列核心板视频教程】之 SDRAM 读写实验

    ============================== 技术论坛:http://www.eeschool.org 博客地址:http://xiaomagee.cnblogs.com 官方网店:h ...

  8. 框架设计——MVC IOC

    主要概念: 注:以下概念是自我理解,不是很准确. IOC:Inversion of Control(控制反转). 本来对象创建是通过使用类内部进行创建,现在把对象创建交给container(容器)管理 ...

  9. Java调用ffmepg+mencoder视频格式转换(*)

    PS: 建议大家在官网下载最新的资源 其他格式转FLV格式,可以用Java调用ffmpeg和memcoder实现 ffmepg: D:\ffmpeg\bin\ffmpeg.exe -i E:\1.mp ...

  10. Flex布局如何让子类在超出边界时隐藏掉

    在flex4中,因为必须添加<s:Scroller>标签才能出现滚动条,如果一个容器例如Panel没有添加滚动条,那么添加到Panel中的child的位置如果超出了Panel的边界,那么这 ...