背景起因：
记起以前的另一次也是关于内存的调优分享下
 
有个系统平时运行非常稳定运行（没经历过大并发考验），然而在一次活动后，人数并发一上来后，系统开始卡。
我按经验开始调优，在每个关键步骤的加入如下代码耗时统计进行压测：
 
long startTime = System.currentTimeMillis();
 callRpc();   //这里比如调用RPC伪代码，当然还在插入数据库，中间件地方都加入统计
 long costTime = (System.currentTimeMillis() - startTime); 
 //统计600毫秒以上耗时
if (costTime > 600) { 
logger.warning("callRpc cost time:" + costTime); 
}
 
然后去grep日志， 最后神奇的发现各个地方都有超过600毫秒的地方...
然后各种定位的误导...
 
当然最终是解决了，原因是由于程序里使用了大对象导致
细分析，即使这种情况深研究也是分很多情况的
 
 
 
问题重现：
原因分析：

由于系统中使用了大对象，当并发来临，内存讲被吃紧，将有可能引起如下三种情况

第一种情况，系统内存够用(JVM内存未使用到SWAP内存)，但JVM内存不够，最终导致JVM的频繁垃圾回收（FGC），严重影响性能 (stop the word)

第二种情况，系统内存不够，把JVM堆部分用到了SWAP，那么此时的垃圾回收需要把SWAP的内存换回到系统物理内存再进行JVM的垃圾回收。最大影响，导致每次GC的时间变得很久

第三种情况,  物理内存不够用， 大量JVM的堆内存被交换到SWAP后，垃圾回收时，把SWAP内存换回物理内存，但SWAP的内存又不会立即回， 此时可以观察到垃圾回收同时swap使用的内存会变大(其它部分内存要交换到SWAP里)

 
准备：
ubuntu 1G  4核
先关闭SWAP虚拟空间 sudo swapoff -a
 
java version "1.7.0_101"
apache-tomcat-8.5.9
设置好Tomcat的JVM内存：
JAVA_OPTS="-Xmx500m -Xms500m -Xmn200m -Xss228k -XX:+UseConcMarkSweepGC -XX:+UseParNewGC"
 
apache-jmeter-2.13 用于模拟HTTP请求压测，都是100条线程并发进行压测
 
 
 
模拟代码如下
 
/**
 * 模拟当系统中使用大对象时,对JVM造成的影响
 *
 * @author 包子(何锦彬). 2017.01.07
 * @QQ 277803242
 */
@WebServlet("/Test")
public class Test extends HttpServlet {
    private static final long serialVersionUID = 1L;
    private Logger logger = Logger.getLogger(Test.class.getName());

    protected void doGet(HttpServletRequest request, HttpServletResponse response)
            throws ServletException, IOException {
        // use java heap 10m
        byte[] bts = new byte[1024 * 1024 * 10];// 代码段1
        long startTime = System.currentTimeMillis();
        // deal
        try {
            // 模拟业务花费时间
            Thread.sleep(500);
        } catch (InterruptedException e) {
        }

        // 理论上这里输出500附近
        long costTime = (System.currentTimeMillis() - startTime);
        if (costTime > 600) {
            logger.warning("cost time:" + costTime);
        }

        Writer out = response.getWriter();
        out.append("ok");
    }
 
 
先模拟正常的情况:
先注释掉"代码段1", 1W个请求下来，基本耗时都在500，一切正常，返回都是在500毫秒附近
 
垃圾回收情况，只发生了1次YGC，所以系统正常稳定...
 
 
 
模拟第一种情况:
放开“代码段1”，让每次请求都去堆内存申请10m的堆空间，同样是1W个请求，返回的平均值已经接近了2S
 
垃圾回收情况来看， 已经发生了1966次的FGC了， 在上面耗时158秒
 
 
 
模拟第二种情况:
把系统的SWAP打开,打开2G的SWAP，swapon -a
 
调大JVM参数，到1G，让JVM用到部分SWAP的空间
 
此时再让每次请求都去堆内存申请10m的堆空间，同样是1W个请求，性能已经低于第二种情况
 
 
垃圾回收来看，回收次数是1766次，比第二种情况发生的次数还要少， 但FGC耗费的时间已经是212秒，（虽然多了200m内存也没差距这么大，更精确看年轻代一样的内存，耗时也远超过）远超过第二种情况了
 
 
 
模拟第三种情况:
这种情况和我上一篇提到的类似,如果系统内存不够用时，系统将KIIL掉内存
 
 
总结：
 
1，频繁垃圾回收（FGC），会严重影响性能。而且会导致用统计耗时去寻找瓶颈出现失误
2，如果JVM堆用到了SWAP分区，将会严重影响到JVM的性能。故评估给JAVA分配内存时不要统计SWAP部分
3，SWAP分区开启可以有效防止进程因为内存问题而被系统杀掉
 
 
持续更新留言问题，解答疑问
 

欢迎关注我的公众号，专注重现各种线上的BUG

 

故障重现(内存篇2)，JAVA内存不足导致频繁回收和swap引起的性能问题的更多相关文章

  1. 【JVM】JVM内存结构 VS Java内存模型 VS Java对象模型

    原文:JVM内存结构 VS Java内存模型 VS Java对象模型 Java作为一种面向对象的,跨平台语言,其对象.内存等一直是比较难的知识点.而且很多概念的名称看起来又那么相似,很多人会傻傻分不清 ...

  2. JVM自动内存管理机制——Java内存区域（下）

    一.虚拟机参数配置 在上一篇<Java自动内存管理机制——Java内存区域(上)>中介绍了有关的基础知识,这一篇主要是通过一些示例来了解有关虚拟机参数的配置. 1.Java堆参数设置 a) ...

  3. JVM内存结构 VS Java内存模型 VS Java对象模型

    前面几篇文章中, 系统的学习了下JVM内存结构.Java内存模型.Java对象模型, 但是发现自己还是对这三者的概念和区别比较模糊, 傻傻分不清楚.所以就有了这篇文章, 本文主要是对这三个技术点再做一 ...

  4. 硬件内存模型到 Java 内存模型，这些硬核知识你知多少？

    Java 内存模型跟上一篇 JVM 内存结构很像,我经常会把他们搞混,但其实它们不是一回事,而且相差还很大的,希望你没它们搞混,特别是在面试的时候,搞混了的话就会答非所问,影响你的面试成绩,当然也许你 ...

  5. 区分 JVM 内存结构、 Java 内存模型 以及 Java 对象模型 三个概念

    本文由 简悦 SimpRead 转码, 原文地址 https://www.toutiao.com/i6732361325244056072/ 作者:Hollis 来源:公众号Hollis Java 作 ...

  6. [转帖]JVM内存结构 VS Java内存模型 VS Java对象模型

    JVM内存结构 VS Java内存模型 VS Java对象模型 https://www.hollischuang.com/archives/2509 Java作为一种面向对象的,跨平台语言,其对象.内 ...

  7. 【转】JVM内存结构 VS Java内存模型 VS Java对象模型

    JVM内存结构 我们都知道,Java代码是要运行在虚拟机上的,而虚拟机在执行Java程序的过程中会把所管理的内存划分为若干个不同的数据区域,这些区域都有各自的用途. 其中有些区域随着虚拟机进程的启动而 ...

  8. Java内存管理：Java内存区域 JVM运行时数据区

    转自:https://blog.csdn.net/tjiyu/article/details/53915869 下面我们详细了解Java内存区域:先说明JVM规范定义的JVM运行时分配的数据区有哪些, ...

  9. Rails内存的问题 Java内存情况

    Rails内存的问题 Java内存情况 一个txt文件,100M,300万行,都是坐标数据: 需要进行坐标的变换.计算.比较: 在Rails中使用Ruby进行计算,会导致内存超过1.5G,最后溢出而亡 ...

随机推荐

  1. iOS可视化动态绘制连通图

    上篇博客<iOS可视化动态绘制八种排序过程>可视化了一下一些排序的过程,本篇博客就来聊聊图的东西.在之前的博客中详细的讲过图的相关内容,比如<图的物理存储结构与深搜.广搜>.当 ...

  2. 从0开始搭建SQL Server AlwaysOn 第二篇（配置故障转移集群）

    从0开始搭建SQL Server AlwaysOn 第二篇(配置故障转移集群) 第一篇http://www.cnblogs.com/lyhabc/p/4678330.html第二篇http://www ...

  3. CLR 这些年有啥变化吗？

    引言 首先想给初学者推荐下<CLR via C#>这本好书,做.Net开发的开发者应该都读一下.为避免广告之嫌,所以这里只提供豆瓣书评的链接. CLR 作为.Net 程序跨平台运行的载体, ...

  4. 【调侃】IOC前世今生

    前些天,参与了公司内部小组的一次技术交流,主要是针对<IOC与AOP>,本着学而时习之的态度及积极分享的精神,我就结合一个小故事来初浅地剖析一下我眼中的“IOC前世今生”,以方便初学者能更 ...

  5. java Web项目创建之一（普通java web项目的创建与发布）

    1.创建新的web项目 file->new_>Dynamic Web Project(如图) 或file->new->Project->Web->Dynamic W ...

  6. 游戏编程系列[1]--游戏编程中RPC协议的使用[3]--体验

    运行环境,客户端一般编译为.Net 3.5 Unity兼容,服务端因为用了一些库,所以一般为4.0 或往上.同一份代码,建立拥有2个项目.客户端引用: WindNet.Client服务端引用: OpL ...

  7. Android Ormlite 学习笔记1 -- 基础

    Ormlite 是一个开源Java数据实体映射框架.其中依赖2个核心类库: 1.ormlite-android-4.48.jar 2.ormlite-core-4.48.jar 新建项目,引用上面2个 ...

  8. C#中5步完成word文档打印的方法

    在日常工作中,我们可能常常需要打印各种文件资料,比如word文档.对于编程员,应用程序中文档的打印是一项非常重要的功能,也一直是一个非常复杂的工作.特别是提到Web打印,这的确会很棘手.一般如果要想选 ...

  9. MJRefresh 源码解读 + 使用

    MJRefresh这个刷新控件是一款非常好用的框架,我们在使用一个框架的同时,最好能了解下它的实现原理,不管是根据业务要求在原有的基础上修改代码,还是其他的目的,弄明白作者的思路和代码风格,会受益匪浅 ...

  10. 从display:run-in;中学习新技能

    有时我们想在一行内显示一个标题,以及一段内容,虽然看起来比较简单,但是为了语义化用dl比较合适,但是它默认是block元素,改成inline?那么有多段呢?不就都跑上来了?用float?那问题也挺多. ...