JSF预热功能在企业前台研发部的实践与探索
作者：京东零售 李孟东
00 导读
企业前台研发部包含了企业业务大部分的对外前台系统，其中京东VOP平台(开放平台)适合于自建内网采购商城平台的企业客户。
京东为这类客户专门开发API接口，对接到客户内网的网上商城，将产品SKU直接推送到客户内网，客户内部采购人员可以直接在内网商城进行下单采购，订单信息通过API接口传递到京东后台，由京东安排物流配送服务。VOP模式下，客户内网的数据信息京东并不抓取，从而实现内部采购架构的独立搭建及数据的保密与安全。
随着业务的不断发展过程中，VOP截至目前已经服务于上千家企业Sass商城，其API接口的高并发、高可用、高可靠也就越发的重要。尽管我们如履薄冰的进行上线来尽可能的降低对接口的波动，但是发现，当下我们整个的上线流程中无损下线是没问题（NP层冷备机器直至无流量打进来，JSF层下线JSF服务），但是（自身&服务提供方）上线的瞬时波动都会或多或少引起我们系统的一阵报警。
这对于一个"夜黑风高" 即将回家的我们多大的伤害。毕竟每一次性能或者可用率的报警都牵动着我们作为技术的心血管（牵动着客户的投诉...）。
本文将从JSF1.7.6预热的实践测试报告中，真实的讲述预热给我们平台带来的体验和帮助，供大家参考。
01 背景
应用调用情况
场景一：对外服务，部分接口发布过程中出现了大量的 5xx 超时异常，根据和客户侧研发团队的沟通，大概确定在应用启动后的时间点，会有部分接口的超时请求。
场景二：服务提供者接口发布，机器启动后，会有调用JSF超时请求。
以上两种情况都会影响到服务的稳定性，进而引起我们系统的一阵（TP99/可用率）报警，如下所示：
【补充】这里同步一下检测工具：我们如何得知上下游是否存在部署事件。见：泰山平台故障分析模块，可以智能分析出上下游故障，或历史问题排查。
详细地址：
http://taishan.jd.com/faultAnalysis
帮助文档：
https://cf.jd.com/pages/viewpage.action?pageId=491274317
通过故障分析，我们发现我们所依赖的接口系统正在处于部署状态，也就是说其上线发布影响到了我们接口的稳定性。
02 预热管理实践
问题是显而易见的，那么如何发现问题本质，并找到问题通用性，进而解决问题，推广各平台，最终达到良性循环，是我们着重需要考虑的。
解决思路：JSF1.7.6版本特性三：预热策略动态下发，提升Provider实时治理能力通过服务器其负载均衡的能力，对于上线需要预热的接口进行流量权重的调整，做到刚上线的应用按照对应所配置的规则进行小流量预热，使用方只需指定预热规则即可按照预期对刚上线的节点进行小流量预热。
当然新功能的引入，小至工具包升级，大至基础服务升级，都需要足够的测试实践和验证回归，一方面测试该功能是否符合我们的诉求，另一方面避免直接引入导致的一些未知异常。因此我们通过针对地址应用及自产自销的JSF接口进行测试实践，并形成以下报告。
机器配置
共计5台服务器 规格：4c8g
四台提供者：11.94.2.225,11.94.13.242,11.94.65.31,11.94.65.45
一台消费者：11.38.181.175
考虑到篇幅的问题，本文主要描述其中一个接口的上线情况，具体实践报告见：
https://joyspace.jd.com/page/LxPqDgcSA3GVjSYQRb73
涉及接口
HTTP接口（消费者）：
https://bizapi.jd.com/api/area/getTown
JSF接口（提供者）：
com.jd.ka.vop.soa.address.sdk.provider.QueryAddressOpenProvider#queryJdAreaIdList
测试流程
采用压力机，模拟调用对应接口，流量稳定后，模拟上线流程，按照50%的比例发布两台机器进行测试。
未设置预热管理
如下为流量稳定调用的UMP监控：
提供者监控
消费者监控
未设置预热发布上线
发布周期（15:40——15:44）发布机器比例50%
提供者监控
消费者监控
通过上方监控图，我们可以清晰的看出：
- 无损下线过程符合预期，并且下线过程中并没有出现任何报错。
- 报错和性能下降期间处于服务端应用成功启动后且注册成功后。
设置预热管理（流程同未设置预热情况）
配置地址：
http://taishan.jd.com/jsf/protection/index
补充：
- 权重和周期指的是初始权重到目标权重100，在预热周期内线性增长，流量在新节点逐渐增长的过程。（即：小流量预热）
- 在泰山流量防护页面中新增的接口配置，必须是拥有该接口权限才可以直接进行配置。
- 在泰山平台配置后，则直接面向所有消费者有效。当然也可以使用JSF的标签配置进行预热，就仅对自身服务器有效。
- 预热周期最大2min
这里有个小插曲，最初我设置的权重为：预热权重：10 周期：30000ms，但是在测试结果中发现，效果并不明显，如下：
因此调整配置策略：预热权重1，周期60000ms。以此降低初始权重，增大预热周期。
设置预热发布上线
发布周期（17:36——17:40）发布机器比例50%
提供者监控
效果十分明显，如下：
03 总结
综上，性能波动影响，从直接发布的50%占比机器上看，配置预热后，其中一台影响下降了2.8——15倍左右；另一台机器上线性能波动几乎可以忽略（16ms）。（测试接口本身性能queryJdAreaIdList TP99 11ms左右）
故，经过评估：provider冷启动后的瞬时TP耗时高，调用波动大进而导致请求有损的问题，可以通过自动预热机制解决。
当然，根据目前行业的一些解决方案，无损上线功能远不止于此，期待JSF预热功能的能力与场景不断地大家的实践反馈中逐渐完善与丰富。
JSF预热功能在企业前台研发部的实践与探索的更多相关文章
- 8Manage：聚焦研发企业利器——研发项目管理
[导读]研发是企业保持核心竞争力的基石.那么对于研发企业来说,如何计划研发项目目标.保障项目的稳定运行,如何分配人才.资源,把控项目成本呢?这些一系列问题摆在管理者面前!引入8Manage研发项目管理 ...
- 百度「Web 前端研发部」面试过程和常见问题 可能会采用哪些方法来面试 STAR 面试法 喜欢什么样的面试者 喜欢问的问题
http://segmentfault.com/a/1190000002498800 在他们的github上看到的,收藏一下备用.看完觉得还有很多要努力的地方. FEX 的面试过程 我们一般会有 3 ...
- 中小研发团队架构实践之生产环境诊断工具WinDbg 三分钟学会.NET微服务之Polly 使用.Net Core+IView+Vue集成上传图片功能 Fiddler原理~知多少? ABP框架（asp.net core 2.X+Vue）模板项目学习之路（一） C#程序中设置全局代理(Global Proxy) WCF 4.0 使用说明 如何在IIS上发布，并能正常访问
中小研发团队架构实践之生产环境诊断工具WinDbg 生产环境偶尔会出现一些异常问题,WinDbg或GDB是解决此类问题的利器.调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具 ...
- 企业DevOps研发模式下CI/CD实践详解指南
阅读全文大概需要 10分钟. 1. 前言 借着公司今年新组建的中台研发部东风,我作为其中的主要负责人,在研发中心主导推行DevOps研发管理模式转变及质量管理创新建设,本篇文章摘取自今年9月底,笔者在 ...
- 中小型研发团队架构实践：分布式协调服务ZooKeeper
一.ZooKeeper 是什么 Apache ZooKeeper 由 Apache Hadoop 的子项目发展而来,于 2010 年 11 月正式成为了 Apache 的顶级项目. 相关厂商内容 优秀 ...
- 中小型研发团队架构实践：任务调度Job
一.Job 简介 Job 类似于数据库中的作业,多用于实现定时执行任务.适用场景主要包括定时轮询数据库同步.定时处理数据.定时邮件通知等. 我们的 Job 分为操作系统级别定时任务 WinJob 和 ...
- 中小型研发团队架构实践：Redis快速入门及应用
Redis的使用难吗?不难,Redis用好容易吗?不容易.Redis的使用虽然不难,但与业务结合的应用场景特别多.特别紧,用好并不容易.我们希望通过一篇文章及Demo,即可轻松.快速入门并学会应用. ...
- 中小研发团队架构实践之RabbitMQ快速入门及应用
原文:中小研发团队架构实践之RabbitMQ快速入门及应用 使用过分布式中间件的人都知道,程序员使用起来并不复杂,常用的客户端API就那么几个,比我们日常编写程序时用到的API要少得多.但是分布式中间 ...
- 中小研发团队架构实践之分布式协调器.Net版ZooKeeper
原文:中小研发团队架构实践之分布式协调器.Net版ZooKeeper 一.ZooKeeper是什么 Apache ZooKeeper是由Apache Hadoop的子项目发展而来,于2010年11月 ...
- Java小白如何一步步学好Java，听听企业Java培训师的实践经验吧
今天我准备给小主展示一篇Java培训老师的文章,希望能给Java小白一个学好Java的路径或者提示.以下就是原文: 从大学到现在,我使用Java已经将近20年,日常也带实习生,还在公司内部做train ...
随机推荐
- mysql datetime和timestamp区别
datetime: 保存格式为YYYYMMDDHHMMSS的整数,与时区无关,存入什么值就是什么值,不会根据当前时区进行转换.mysql5.6.4中可以存储小数片段,最多小数点后6位,在mysql5. ...
- Abp Abp.AspNetZeroCore 2.0.0 2.1.1 Path
纯手工修改,移除校验代码可调试. 将文件复制到 %userprofile%\.nuget\packages\abp.aspnetzerocore 目录中 替换对应的文件 Abp.AspNetZeroC ...
- servlet - 从本地下载图片
import javax.servlet.ServletException;import javax.servlet.ServletOutputStream;import javax.servlet. ...
- PostgreSQL备份与恢复命令
postgresql备份与恢复相关命令 --备份用户的数据库bct的所有内容pg_dump -U 用户名 -d 库名 -f xxxXXXxxx.sql--删除原有数据库dropdb -U 用户名 -f ...
- RKO组——冲刺随笔（3）
这个作业属于哪个课程 至诚软工实践F班 这个作业要求在哪里 第五次团队作业:项目冲刺 这个作业的目标 记录冲刺计划.要求包括当天会议照片.会议内容以及项目燃尽图(项目进度) 1.昨日进展 对上一次讨论 ...
- MySQL日常维护指南
一.常用命令 1.查看数据库默认编码 show variables like 'character%'; show variables like 'collation%'; 2.启动停止数据库 /et ...
- delphi 给 Timage 加上滚动条方法
delphi Timage 加上滚动条的方法 1:将 Timage 放入 TScrollBox内,即 [1]设image1.parent:= ScrollBox1; [2]在Object I ...
- idea乱码
第一步:修改intellij idea配置文件: 找到intellij idea安装目录,bin文件夹下面idea64.exe.vmoptions和idea.exe.vmoptions这两个文件,分别 ...
- mergehex tools安装
(1)nRF5x command line tools包括Jlink驱动以及Nordic自己开发的一些命令行工具,具体包括Jlink驱动,nrfjprog,nrfutil以及mergehex等. 下载 ...
- 01 关于HTML基础-构建Web，这些你都知道吗？（很全）
以下均是参考MDN web docs,总结出来的比较重要的知识点,与君共勉.不妥之处,还望大家及时提出! 什么是HTML? 是一种告诉浏览器如何组织页面的标记语言.它由一系列元素组成. HTML元素 ...