探究JVM(七)手敲6000字!从论文角度剖析增量更新和原始快照-程序员宅基地

技术标签: JVM  jvm  算法  java  后端  数据结构  

引言:在JVM中,使用可达性分析算法来判断一个对象是否存活。在Serial和Parallel收集器中,可达性分析的过程是STW的,这意味着在标记的过程中,对象的引用关系没有发生改变,从GC Root开始扫描,可以得到全部存活的对象。但是在CMS,G1等垃圾收集器中,采用了并发标记的方式来遍历对象图,毫无疑问,这缩短了STW的时间,但是也带来了新的问题,而增量更新和原始快照就是用来解决这个问题的不同方式。

一 并发标记的问题

采用了并发标记,可以让用户线程和GC线程同时工作,但是也带来了新的问题。

1 浮动垃圾

在进行并发标记的时候,无法处理初始标记以后产生的对象,这些对象称为浮动垃圾,这些浮动垃圾如果过多,会导致堆没有空间可以存放这些对象,因为这时候还在进行GC,旧的对象没有被回收。但这相对来说还是可控的,可以适当调整触发GC的堆大小的阈值来尽量避免这种情况的发生。

2 对象消失

在并发标记的时候,用户能够操作对象,这就有可能使得引用关系发生修改,使得所有指向本来活的对象的引用全部消失,那按照可达性分析算法,此时对象会被判定为死亡,但是实际这个对象是存活的。由于这个问题相对来说比较严重,所以我们下文以说明如何解决对象消失问题为主。

上面是用户线程修改引用关系前后的对比图。虚线代表引用已经被删除。
当同时满足以下两个条件时,就会出现对象消失的情况。

1 从黑色对象到白色对象增加了新的引用关系。
2 灰色对象直接或间接删除了到这个白色对象的全部引用关系。

因为黑色对象是不能再被访问的,而灰色对象又删除了到这个白色对象的全部引用关系,所以就造成了该白色对象本来是存活的,但是因为在扫描路径中没有出现而被当成死亡对象。

二 如何解决对象消失

为了解决对象消失的问题,在JVM中有两种方式,分别是增量更新和原始快照。在CMS垃圾收集器中使用增量更新,在G1垃圾收集器中使用原始快照。

增量更新(Increment Update)

在上文我们提到两个条件同时满足,那么对象就会“消失”,所以我们只需要破坏其中一个条件即可。增量更新破坏的就是第一个条件。
增量更新的做法是把新增白色对象变为灰色对象并记录下引用修改,具体的是做法是利用记忆集和写后屏障技术,但是在这里传统的记忆集并不能满足CMS垃圾收集器对于引用修改追踪的要求。原因是这样的,在并发标记的过程中,有可能独立进行多次Young GC,这时候Card Table就会频繁被修改,导致原有的dirty card变成了clean card,这样就导致在并发标记过程中不能记录下完整的引用关系。

所以这时候JVM就引入了Mod-Union Table。Mod-Union Table本质上也是一个Byte数组,它是所有并发标记过程中发生的Change Card Table的合集,它的作用是在Young GC发生前检查Crad Table的某一位是否dirty,也就是这一位的数值是否变成1,如果变成1,就记录到Mod-Union Table中。Mod-Union Table和Card Table的位是一一对应的关系。
下面为CMS论文关于Set Mod-Union Table Bit的原文:
This invariant ismaintained by young-generation collections, which set the mod union bits for all cards dirty in the card table before scanning those dirty cards.
在每次Young GC扫描dirty card前都在Mod-Union Table中记录下dirty card,这样就保证了即使在后面的Change Card Table中, Card Table中元素的数值发生过改变,但是在Mod-Union Table对应元素的数值始终为1。

从正常角度来讲,Card Table能记录下所有到老年代的引用修改,但是实际的应用中,Card Table没有被用来跟踪新生代到老年代的引用修改,因为新生代的对象朝生夕灭,引用更新频繁,这样新生代基本全为dirty card,而处理这些dirty card也需要消耗资源,不如直接扫描新生代划算。在具体实现中,JVM用扫描整个新生代来代替处理Card Table中新生代到老年代引用关系的变化,而用Card Table和Mod-Union Table记录下老年代到老年代的引用修改,并在Remark阶段进行处理。
所以总的来说,用增量更新实现的最终标记阶段是通过 以下三个步骤来完成的。
1 重新扫描新生代。
2 重新扫描并发标记结束时老年代的Card Table记录下的对象。
3 重新扫描并发标记结束时老年代的Mod-Union Table记录下的对象。
步骤2和步骤3的具体做法是把dirty page里面的黑色对象中新增的灰色对象字段重新扫描一遍。

原始快照( Snapshot At The Beginning SATB)

上文讲述的是利用增量更新来解决CMS并发标记过程中出现的对象消失问题。而在G1垃圾收集器中则使用原始快照的方式来解决这个问题。
原始快照破坏的是第二个条件,在灰色对象到白色对象的直接引用或者间接引用关系修改前,会把这个引用记录下来,放进当前用户线程私有的SATB Queue中,最终汇集到一个全局的SATB Queue Set中,在最终标记阶段再扫描这些记录下来的引用记录。

上文我们提到增量更新使用到了写屏障技术,但是上文提到的写屏障只用到了写后屏障,在原始快照中运用到了写前屏障,因为要在引用被删除前把灰色对象到白色对象的关系记录下来。

1 写前屏障的具体实现

下面是G1论文中关于写屏障的伪代码和解释:

Below we show pseudocode for the marking write barrier for a write of the value in rY to offset FieldOffset in an object whose address is in rX. Its operation is explained below.
在这里插入图片描述
The actual pointer store [rX, FieldOffset] := rY would follow. The first two lines of the barrier skip the remainder if marking is not in progress; for many programs, this filters out a large majority of the dynamically executed barriers. Lines 3 and 4 load the value in the object field, and check whether it is null. It is only necessary to log non-null values. In many programs the majority of pointer writes are initializing writes to previously-null fields, so this further filtering is quite effective.

大致意思是SATB只记录发生在并发标记阶段的引用修改,并且要记录的这个引用的值不能为空,当以上两者都满足的时候,就把这个引用放到当前用户线程私有的SATB Queue中。

2 并发标记阶段对于SATB Queue 的处理

The satb enqueue operation adds the pointer value to the thread’s current marking buffer. As with remembered set buffers, if the enqueue fills the buffer, it then adds it to the global set of completed marking buffers. The concurrent marking thread checks the size of this set at regular intervals, interrupting its heap traversal to process filled buffers.
在并发标记阶段,有可能因为引用修改较为频繁,SATB Queue的大小超过了分配给线程的缓冲区域,这时候SATB Queue会被添加进Global SATB Queue Set中(下文用GSQS代替),再给当前用户线程换一个全新的SATB Queue供其记录引用。
当GSQS中的队列越来越多,整体大小也超过了阈值,那么并发标记阶段就会对GSQS中的引用进行处理,G1收集器使用GC线程把这些SATB Queue记录下的引用取出并压入标记栈(marking stack)中。此时并发标记阶段没有结束,GC线程会从标记栈中取出引用并扫描。

3 最终标记阶段对于SATB Queue 的处理

It is very simple: any unprocessed completed log buffers are processed as above, and the partially completed per-thread buffers are processed in the same way. This process is done in parallel, to guard against programs with many mutator threads with partially filled marking log buffers causing long pause times or parallel scaling issues.

到最终标记阶段的时候,暂停全部用户线程,并发处理每个用户线程的log buffers (即STAB Queue)中的引用。

三 解决浮动垃圾的策略

对于并发标记的问题,在上文我们主要关心的是“对象消失”的问题,该问题一旦发生,后果将非常严重,因为用户正在使用的对象是绝对不能被当成死亡对象回收的。而在下文,将讲述两者解决浮动垃圾问题的策略。
在CMS垃圾收集器中使用的是增量更新,增量更新追踪的是黑色对象到白色对象的直接引用,所以除了并发阶段的新增对象,在原始对象图中应该死亡的对象,增量更新算法都能够察觉到。
但是对于G1中的原始快照,记录的是直接引用或间接引用,此时在原始对象图中有一部分对象本来是死亡的,但是会被标记成存活的。另外原始快照也是无法回收并发阶段的新增对象。

在上述对象图中,对象A是死亡的,但是在原始快照算法中,它会被标记为存活对象。

四 总结

(1)原始快照的Remark阶段比增量更新快,因为增量更新要重新扫描新生代,原始快照只需要处理记录下的引用修改。
(2)对于对象消失问题,两者都能解决。
(3)原始快照的浮动垃圾比增量更新多。

五 参考资料

(1) CMS论文地址:http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=708077E17B9BF4DEB8C8A850D34C8D60?doi=10.1.1.22.8915&rep=rep1&type=pdf
(2)G1论文地址:
https://dl.acm.org/doi/pdf/10.1145/1029873.1029879
(3)RednaxelaFX的博客:
https://hllvm-group.iteye.com/group/topic/44381

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Yao_ziwei/article/details/117781372

智能推荐

class和struct的区别-程序员宅基地

文章浏览阅读101次。4.class可以有⽆参的构造函数,struct不可以,必须是有参的构造函数,⽽且在有参的构造函数必须初始。2.Struct适⽤于作为经常使⽤的⼀些数据组合成的新类型,表示诸如点、矩形等主要⽤来存储数据的轻量。1.Class⽐较适合⼤的和复杂的数据,表现抽象和多级别的对象层次时。2.class允许继承、被继承,struct不允许,只能继承接⼝。3.Struct有性能优势,Class有⾯向对象的扩展优势。3.class可以初始化变量,struct不可以。1.class是引⽤类型,struct是值类型。

android使用json后闪退,应用闪退问题:从json信息的解析开始就会闪退-程序员宅基地

文章浏览阅读586次。想实现的功能是点击顶部按钮之后按关键字进行搜索,已经可以从服务器收到反馈的json信息,但从json信息的解析开始就会闪退,加载listview也不知道行不行public abstract class loadlistview{public ListView plv;public String js;public int listlength;public int listvisit;public..._rton转json为什么会闪退

如何使用wordnet词典,得到英文句子的同义句_get_synonyms wordnet-程序员宅基地

文章浏览阅读219次。如何使用wordnet词典,得到英文句子的同义句_get_synonyms wordnet

系统项目报表导出功能开发_积木报表 多线程-程序员宅基地

文章浏览阅读521次。系统项目报表导出 导出任务队列表 + 定时扫描 + 多线程_积木报表 多线程

ajax 如何从服务器上获取数据?_ajax 获取http数据-程序员宅基地

文章浏览阅读1.1k次,点赞9次,收藏9次。使用AJAX技术的好处之一是它能够提供更好的用户体验,因为它允许在不重新加载整个页面的情况下更新网页的某一部分。另外,AJAX还使得开发人员能够创建更复杂、更动态的Web应用程序,因为它们可以在后台与服务器进行通信,而不需要打断用户的浏览体验。在Web开发中,AJAX(Asynchronous JavaScript and XML)是一种常用的技术,用于在不重新加载整个页面的情况下,从服务器获取数据并更新网页的某一部分。使用AJAX,你可以创建异步请求,从而提供更快的响应和更好的用户体验。_ajax 获取http数据

Linux图形终端与字符终端-程序员宅基地

文章浏览阅读2.8k次。登录退出、修改密码、关机重启_字符终端

随便推点

Python与Arduino绘制超声波雷达扫描_超声波扫描建模 python库-程序员宅基地

文章浏览阅读3.8k次,点赞3次,收藏51次。前段时间看到一位发烧友制作的超声波雷达扫描神器,用到了Arduino和Processing,可惜啊,我不会Processing更看不懂人家的程序,咋办呢?嘿嘿,所以我就换了个思路解决,因为我会一点Python啊,那就动手吧!在做这个案例之前先要搞明白一个问题:怎么将Arduino通过超声波检测到的距离反馈到Python端?这个嘛,我首先想到了串行通信接口。没错!就是串口。只要Arduino将数据发送给COM口,然后Python能从COM口读取到这个数据就可以啦!我先写了一个测试程序试了一下,OK!搞定_超声波扫描建模 python库

凯撒加密方法介绍及实例说明-程序员宅基地

文章浏览阅读4.2k次。端—端加密指信息由发送端自动加密,并且由TCP/IP进行数据包封装,然后作为不可阅读和不可识别的数据穿过互联网,当这些信息到达目的地,将被自动重组、解密,而成为可读的数据。不可逆加密算法的特征是加密过程中不需要使用密钥,输入明文后由系统直接经过加密算法处理成密文,这种加密后的数据是无法被解密的,只有重新输入明文,并再次经过同样不可逆的加密算法处理,得到相同的加密密文并被系统重新识别后,才能真正解密。2.使用时,加密者查找明文字母表中需要加密的消息中的每一个字母所在位置,并且写下密文字母表中对应的字母。_凯撒加密

工控协议--cip--协议解析基本记录_cip协议embedded_service_error-程序员宅基地

文章浏览阅读5.7k次。CIP报文解析常用到的几个字段:普通类型服务类型:[0x00], CIP对象:[0x02 Message Router], ioi segments:[XX]PCCC(带cmd和func)服务类型:[0x00], CIP对象:[0x02 Message Router], cmd:[0x101], fnc:[0x101]..._cip协议embedded_service_error

如何在vs2019及以后版本(如vs2022)上添加 添加ActiveX控件中的MFC类_vs添加mfc库-程序员宅基地

文章浏览阅读2.4k次,点赞9次,收藏13次。有时候我们在MFC项目开发过程中,需要用到一些微软已经提供的功能,如VC++使用EXCEL功能,这时候我们就能直接通过VS2019到如EXCEL.EXE方式,生成对应的OLE头文件,然后直接使用功能,那么,我们上篇文章中介绍了vs2017及以前的版本如何来添加。但由于微软某些方面考虑,这种方式已被放弃。从上图中可以看出,这一功能,在从vs2017版本15.9开始,后续版本已经删除了此功能。那么我们如果仍需要此功能,我们如何在新版本中添加呢。_vs添加mfc库

frame_size (1536) was not respected for a non-last frame_frame_size (1024) was not respected for a non-last-程序员宅基地

文章浏览阅读785次。用ac3编码,执行编码函数时报错入如下:[ac3 @ 0x7fed7800f200] frame_size (1536) was not respected for anon-last frame (avcodec_encode_audio2)用ac3编码时每次送入编码器的音频采样数应该是1536个采样,不然就会报上述错误。这个数字并非刻意固定,而是跟ac3内部的编码算法原理相关。全网找不到,国内音视频之路还有很长的路,音视频人一起加油吧~......_frame_size (1024) was not respected for a non-last frame

Android移动应用开发入门_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量-程序员宅基地

文章浏览阅读230次,点赞2次,收藏2次。创建Android应用程序一个项目里面可以有很多模块,而每一个模块就对应了一个应用程序。项目结构介绍_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量

推荐文章

热门文章

相关标签