面向大页场景的内存自适应系统研究与设计

发布时间：2023-03-24 00:52

　　在基于云计算的大数据应用场景中,数据密集型任务产生了极大的内存资源开销。单纯通过内存扩容的方法能缓解内存资源紧张,却无法解决硬件地址开销增长的问题。因此,服务器厂商提供对大页内存的支持,一方面减少页表项降低地址转换的开销,另一方面降低TLB的缺失率提高业务负载性能。面向大页的场景下,Linux中已有多种大页管理系统。但大页管理系统和小页管理系统是独立的,大页数量在大页管理系统中启动后是固定的。由于上层业务负载的不可预知性,大页和小页内存无法准确适配,势必造成一定的内存浪费。目前,在大页管理系统上层构建一套内存自适应系统的工作还是空白。本文基于Linux原有的大页和小页机制,研究和设计了面向大页场景的内存自适应系统。该系统能够根据大页内存使用情况自动调整大页数量,从而提升内存利用率并且节约开销。为了实现本系统,本文完成了下列工作:1)依据大页数据统计,设计内存自适应的算法。在内存初始化、申请和释放等处添加接口,统计当前大页总页面数和空闲页面数。算法基于大页的历史使用数据预测未来使用情况,从而判定是否要进行调整。2)大页数量调整时,设计页面内容迁移的方法。设计了大页内存调整时对数据迁移的方...

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景和意义
    1.2 本文主要工作内容和创新点
    1.3 本章小结
第2章 相关技术及研究现状
    2.1 大页背景知识
        2.1.1 Linux页表结构
        2.1.2 大页管理机制
        2.1.3 多种页面粒度
    2.2 大页管理技术
        2.2.1 大页文件系统
        2.2.2 透明大页
        2.2.3 物理大页
    2.3 页面迁移技术
        2.3.1 页面迁移的定义
        2.3.2 研究现状
    2.4 本章小结
第3章 系统总体架构分析
    3.1 需求场景分析
    3.2 系统架构设计
    3.3 与大页管理系统接口
        3.3.1 页故障处理流程
        3.3.2 接口函数
    3.4 系统模块设计
        3.4.1 大页统计数据模块
        3.4.2 大小页调整判定模块
        3.4.3 调整线程模块
        3.4.4 页面迁移模块
    3.5 本章小结
第4章 系统详细设计与实现
    4.1 系统总体执行流程图
    4.2 大页统计数据模块
    4.3 大小页调整判定模块
    4.4 调整线程模块
    4.5 页面迁移模块
    4.6 多平台的支持
    4.7 本章小结
第5章 系统测试与分析
    5.1 测试部署
        5.1.1 实验环境
        5.1.2 系统部署
    5.2 功能测试
        5.2.1 测试程序
        5.2.2 模块预期功能和测试用例
        5.2.3 具体测试
    5.3 性能测试
        5.3.1 系统开销影响
        5.3.2 内存利用率
    5.4 本章小结
第6章 总结与展望
    6.1 本文的工作总结
    6.2 未来工作展望
参考文献
攻读硕士学位期间主要的研究成果
致谢



本文编号：3769104