基于胖树结构的数据中心缓存系统设计

发布时间：2024-06-28 00:17

　　随着云计算和大数据的兴起,海量数据的处理成为了很多业务的瓶颈,而集群内部机器之间数据传输的效率也是其中的关键。所以在当今的数据中心中,如何高效地使用网络带宽变得非常重要,学者们提出了很多方法。冗余去除(Redundancy Elimination)就是其中一种很高效的方法。冗余去除通过删除网络中数据包中的重复内容来降低数据中心里交换机之间的网络流量。在这篇文章中,我们提出了一种提高整个数据中心中网络带宽利用率的高效的缓存协议。在我们的协议中,数据中心中的每一个数据包由一个64位的整数值来标记,这个整数值由MD5算法计算所得。为了实现冗余删除,我们在数据中心的每一个交换机中缓存最常被访问到的数据包,然后在一个服务器向另外一个服务器发送数据包的时候,第一跳交换机会根据胖树的路由算法来分析当前数据包所经过的路径上是否有了这个数据包的缓存,如果有的话就对该数据包进行压缩。最后在有缓存的交换机上解压出原始数据包,发往目的服务器。在我们的协议中没有一个中心的节点来存储整个数据中心里边数据包的缓存信息,我们实现了一种完全分布式的协议。每个交换机除了保存自己本地缓存的数据包的信息,它还会存储其他交换机...

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 导论
第二章 背景介绍
    2.1 胖树数据中心拓扑结构介绍
        2.1.1 拓扑结构
        2.1.2 路由算法
    2.2 布隆过滤器介绍
        2.2.1 算法描述
        2.2.2 假阳性和哈希函数的选取
        2.2.3 布隆过滤器的应用
    2.3 ServerSwitch
第三章 DCP协议
    3.1 协议概述
    3.2 协议包头
    3.3 缓存共享机制
    3.4 数据包封装和路由算法
    3.5 小结
第四章 DCP协议实现和性能分析
    4.1 协议实现
        4.1.1 实现胖树数据中心拓扑结构
        4.1.2 实现DCP协议
        4.1.3 实验模拟性能对比
        4.1.4 小结
    4.2 性能分析
        4.2.1 DCP性能测试
        4.2.2 布隆过滤器的有效性
        4.2.3 缓存替换算法的比较
        4.2.4 假阳性表性能测试
        4.2.5 不同数据分布的性能对比
        4.2.6 DCP的可扩展性
        4.2.7 小结
第五章 结论
参考文献
致谢
攻读学位期间发表的学术论文目录
攻读学位期间参与的项目



本文编号：3996156