可伸缩的确定性重放技术研究

发布时间：2020-07-11 09:17

【摘要】：随着多核系统的不断发展,处理器核数不断增加,越来越多的软件将通过并发来充分利用处理器性能。目前软件系统实现并发的最主要方式是使用线程,线程之间使用锁进行同步。然而基于线程和锁的并发编程易于出错,研究发现即使是成熟的开源软件也存在不少并发相关错误,且这些错误难以调试和修复。如何重现这些错误具有重要的研究意义和实用价值。记录和重放来自计算机系统自身和外部环境的不确定性是重现软件执行过程的一个重要技术。之前的研究工作对单核系统的记录和重放已经做了比较全面的研究,而对多核系统来说,不同处理器对共享内存的访问顺序大大增加了系统的不确定性,我们需要使用确定性重放技术才能实现对系统执行的忠实重现。记录共享访存的顺序是高效实现确定性重放的一大挑战,有些研究工作修改硬件来记录访存顺序,这些工作在现有的硬件上还不能使用；而基于现有硬件的工作其访存顺序的记录存在可伸缩性问题,随着处理器核数的增加,这些系统的性能反而可能下降。在充分分析之前研究工作的基础上,本文提出了一种基于现有硬件的可伸缩的访存顺序记录算法,并利用多核全系统模拟器COREMU和二进制翻译工具DynamoRIO实现了全系统和应用程序的确定性重放。使用并行基准测试程序的性能评测表明,本文实现的确定性重放系统具有良好的可伸缩性。为进一步提升系统性能,本文还探索了使用硬件事务内存来记录访存顺序的方法。具体来说,本文做出了如下贡献：1.分析之前工作提出的访存顺序记录算法存在伸缩性问题的原因,提出了一种基于现有硬件的可伸缩的访存顺序记录算法。该算法利用共享对象版本序列化所有的写操作,并巧妙的记录了处理器之间的读后写顺序。算法记录精确的访存顺序,在记录顺序时仅需每个处理器局部的信息和共享对象版本,需要原子性访问的临界区很短,这些特点使得算法具有良好的可伸缩性。2.首次在并行全系统模拟器上实现确定性重放工具ReEmu。我们对全系统模拟器不确定性的来源做了充分的分析,并针对本文使用的并行全系统模拟器COREMU的特点实现了全系统确定性重放。ReEmu使用类似seqlock的方法实现了本文提出的可伸缩的访存顺序记录算法,并尝试使用锁聚集优化来提高访存顺序记录的性能。我们使用五个特性不同的PARSEC并行基准测试程序评测系统性能,在模拟16个虚拟核时ReEmu相比COREMU的平均开销为68.9%(范围51.8%--94.7%),模拟从1到16个虚拟核的运行时间体现了良好的可伸缩性。利用COREMU的跨体系结构的支持,我们还实现了ARM系统的确定性重放。3.使用DynamoRIO实现了应用程序确定性重放工具Dr. Replay,该工具根据每个系统调用的不同语意单独记录和重放,为帮助调试应用程序,Dr.Replay记录了系统调用的偏序。本文指出了操作系统与进程间除系统调用之外的隐式交互为实现应用程序确定性重放带来的挑战。我们使用1-16个线程记录PARSEC基准测试程序的执行,Dr. Replay同样显示了良好的可伸缩性。Dr. Replay记录程序执行的运行时间平均为原生执行的14.8倍(最低11.6倍,最高19.8倍),比同样使用二进制翻译的应用程序确定性重放工具PinPlay有着更好的性能。4.首次尝试使用硬件事务内存记录访存顺序,提出了基于事务提交顺序的记录算法。我们还分析了Intel Haswell微架构处理器事务内存扩展的适用范围,通过实际测试指出简单的对访存顺序记录算法的实现使用HLE并不能提升性能。
【学位授予单位】：复旦大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP332

【相似文献】

相关期刊论文 前10条

1 李晖;;略谈日志在财务软件中的作用[J];中国管理信息化(综合版);2005年07期

2 王彦龙,李战怀,董欢庆,林伟;设备复制系统的日志机制研究[J];计算机工程与应用;2005年05期

3 小老虎;;寻找问题的蛛丝马迹 网管日志技巧曝光[J];电脑爱好者;2007年03期

4 陈麟;李焕洲;吴贞东;;防火墙通信日志处理技术研究[J];微计算机信息;2007年30期

5 谢羿;肖卫东;徐坤;;一种处理复杂变更事务的过程变更日志清洗算法[J];计算机应用研究;2009年03期

6 郑仕元;刘军;;不可信环境下的客户端日志保护机制[J];计算机工程;2011年23期

7 常学贵;陈伟;孟德超;车文毅;闫娜;谈熙;闵昊;;用于温度日志标签的两级唤醒单元[J];固体电子学研究与进展;2012年03期

8 张若箐;牛飞斐;;一种基于日志的U盘取证模型研究[J];北京电子科技学院学报;2013年02期

9 邱元杰,刘心松,杨峰;一种高效的分布式并行数据库日志机制[J];计算机研究与发展;2004年11期

10 武波;王申康;;基于日志的闪存文件系统设计与实现[J];江南大学学报(自然科学版);2007年02期

相关会议论文 前9条

1 王洪俊;赖志国;施水才;肖诗斌;;基于查询日志的查询建议挖掘[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

2 陶学军;杨冬青;关涛;唐世渭;;COBASE的恢复技术[A];第十一届全国数据库学术会议论文集[C];1993年

3 石磊;韩伟;李兴波;;建设某省通信公司用户上网日志查询系统[A];创新驱动，加快战略性新兴产业发展——吉林省第七届科学技术学术年会论文集（下）[C];2012年

4 李金;唐成虹;黎强;;IEC61850日志功能的实现[A];2006中国电力系统保护与控制学术研讨会论文集[C];2006年

5 刘兆庆;李爱青;;LXI仪器事件日志的开发[A];2011下一代自动测试系统学术研讨会论文集[C];2011年

6 滕庆丰;;UNIX环境下日志自动存储和管理方法[A];全国冶金自动化信息网2011年年会论文集[C];2011年

7 孟庆发;谢丰;吕铁强;周立德;;IDS日志统计分析方法研究与实现[A];第二届全国信息检索与内容安全学术会议（NCIRCS-2005）论文集[C];2005年

8 罗匡;黄金涛;李起成;王衡;汪国平;;PCW:一个基于日志的流媒体同步合成系统[A];第三届和谐人机环境联合学术会议（HHME2007）论文集[C];2007年

9 陈足先;叶晓俊;;回滚段在PostgreSQL中的实现[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

相关重要报纸文章 前10条

1 本报记者 屠少萌　李川 祖先海;信息时代的法官日志[N];人民法院报;2011年

2 金龙生 肖新华;乐清推行工商日志[N];温州日报;2010年

3 中科院计算所 李洋;使用日志系统保护Linux安全[N];计算机世界;2005年

4 郭应 军戴 湘平 陈晓杰;日志电子化　查阅更方便[N];中国税务报;2006年

5 安徽 孙成;“细心呵护”Windows日志[N];电脑报;2004年

6 叶子平;Web Services的常见故障诊断[N];计算机世界;2004年

7 范恩平邋赵中想;民警“写博客” 网上“晒工作”[N];人民公安报;2007年

8 皖南;记录服务器的点点滴滴[N];电脑报;2005年

9 狂风;网络故障 对症下药[N];电脑报;2004年

10 舒洁;Guest止步[N];中国电脑教育报;2003年

相关博士学位论文 前2条

1 陈宇飞;可伸缩的确定性重放技术研究[D];复旦大学;2014年

2 向小岩;闪存数据库若干关键问题研究[D];中国科学技术大学;2009年

相关硕士学位论文 前10条

1 郝光权;Cloud Foundry平台应用日志检索服务设计与实现[D];浙江大学;2015年

2 何骏;基于临床指南决策支持的医疗日志平台研究[D];湖北工业大学;2013年

3 郑大虎;分布式日志服务系统关键技术的研究[D];西安电子科技大学;2005年

4 周逸璇;基于日志抽象的流程挖掘方法研究[D];云南大学;2012年

5 周志杰;基于企业代理日志的Web使用挖掘研究[D];华南理工大学;2010年

6 商娇;TTCN-3测试执行日志的可视化研究与实现[D];内蒙古大学;2011年

7 王广立;基于日志的流程挖掘算法研究[D];山东大学;2008年

8 田万丰;某中间件产品监控系统的代理管理和代理日志模块的设计与实现[D];北京邮电大学;2014年

9 武晋南;基于Web日志的测试集生成方法设计与研究[D];上海师范大学;2009年

10 沈宏;基于用例和日志的Web统计测试[D];上海师范大学;2004年

本文编号：2750219