一种基于共享转发态的多级缓存一致性协议

发布时间：2019-08-14 16:59

【摘要】：在CC-NUMA架构系统中,为了减少缓存一致性维护的开销,大规模CC-NUMA系统通常采用多级缓存一致性域设计,降低平均一致性维护操作数量,从而有效缓解系统性能扩展与一致性维护开销的矛盾.传统的MESI,MESIF,MOESI协议主要是针对单级一致性域优化设计,并且没有考虑到大型数据库应用中查询(数据读访问)业务量占据主导地位的特点,故该类一致性协议在多级缓存一致性域场景下存在着跨域操作频度高、执行效率低等缺点.针对上述问题,提出了一种基于共享转发态的多级缓存一致性协议MESI-SF.该协议创建了一个共享转发态Share-F,允许多个一致性域内同时存在远端数据副本的可读可转发状态,从而能够为同一域内同地址的读请求直接提供共享数据,有效减少了跨域操作,提升系统性能.SPLASH-2程序集模拟结果表明,对于两级Cache一致性域系统,相比MESI协议,MESI-SF能够减少23.0%跨结点访问次数,指令平均执行周期数(cycles per instruction,CPI)降低7.5%;相比MESIF协议,MESI-SF能够减少12.2%跨结点访问次数,指令平均执行周期数降低5.95%.
【图文】：

多结点,多处理器系统,结点,结构示意图

１研究背景与动机ＣＣ－ＮＵＭＡ系统是一种典型的分布式共享内存多处理器系统．具有两级Ｃａｃｈｅ一致性域的ＣＣ－ＮＵＭＡ系统的一般结构如图１所示．在图１中，系统的ｎ个结点通过域间网络互连，其中每个结点内的处理器和一致性协同芯片构成了结点内Ｃａｃｈｅ一致性域，，而结点间通过一致性协同芯片互连构成了结点间Ｃａｃｈｅ一致性域．Ｆｉｇ．１Ｔｈｅｓｔｒｕｃｔｕｒｅｏｆｍｕｌｔｉｐｒｏｃｅｓｓｏｒｓｙｓｔｅｍｓｗｉｔｈｍｕｌｔｉｐｌｅｃｌｕｍｐｓ（ｅａｃｈｃｌｕｍｐｃｏｎｔａｉｎｓｔｗｏＣＰＵｓ）图１多结点多处理器系统结构示意图（每结点含２个ＣＰＵ）多级Ｃａｃｈｅ一致性域系统通常采用多级Ｃａｃｈｅ一致性协议．ＭＥＳＩ协议［４］是一种被广泛采用的Ｃａｃｈｅ一致性协议，它定义了４种数据状态，包括：１）Ｍ（ｍｏｄｉｆｉｅｄ）态．Ｍ态为修改态，表明该缓存数据被修改，与内存中的数据内容不一致，为整个系统的唯一最新副本．２）Ｅ（ｅｘｃｌｕｓｉｖｅ）态．Ｅ态为独占态，表明当前副本为该缓存数据在系统中的唯一副本，并且未被修改，与内存中的数据内容一致．３）Ｓ（ｓｈａｒｅｄ）态．Ｓ态为共享态，表明该数据在一个或多个处理器中有副本，而且副本数据未被修改，与内存中的数据内容一致．４）Ｉ（ｉｎｖａｌｉｄ）态．Ｉ态为无效态，表明ＣＰＵ中该缓存数据已经失效，对其缓存行可直接覆盖替换而不需要执行缓存一致性操作．在ＭＥＳＩ协议中，当有处理器请求读共享数据时，需要通过向数据所在的内存发出请求从而才能得到该共享数据．Ｉｎｔ

流程图,结点数,远端,流程图

Ｆｉｇ．２Ｄｉａｇｒａｍｓｏｆｄａｔａｒｅｑｕｅｓｔｐｒｏｃｅｓｓｆｏｒｖｉｓｉｔｉｎｇｒｅｍｏｔｅｃｌｕｍｐｓ图２访问远端结点数据请求流程图的多级缓存一致性协议，试图缓解上述存在问题，以期减少跨结点访问频度，降低数据访问延迟，提升系统性能．２一种基于共享转发态的多级缓存一致性协议本文提出的多级缓存一致性协议ＭＥＳＩ－ＳＦ，在ＭＥＳＩ协议的基础上，引入了共享转发态Ｓｈａｒｅ－Ｆ．Ｓｈａｒｅ－Ｆ的基本思想是通过在两级Ｃａｃｈｅ一致性域或多级Ｃａｃｈｅ一致性域ＣＣ－ＮＵＭＡ系统中的局部域（如结点内Ｃａｃｈｅ一致性域）对同地址Ｓ状态的缓存数据在每个Ｃａｃｈｅ一致性域内均构造一个Ｓｈａｒｅ－Ｆ状态，Ｓｈａｒｅ－Ｆ状态的缓存数据可对同一域内的读请求直接提供共享数据．本方法在不违反全局Ｃａｃｈｅ一致性协议规则基础上可降低处理器跨结点访存频度和开销，提升ＣＣ－ＮＵＭＡ系统性能．不失一般性，在本文的后续讨论中，将以两级Ｃａｃｈｅ一致性域为例进行说明．多级Ｃａｃｈｅ一致性域可以看作是两级Ｃａｃｈｅ一致性域的扩展．本文提出的方法适用于多级Ｃａｃｈｅ一致性域．ＭＥＳＩ－ＳＦ协议包含了ＭＥＳＩ协议中的４种状态，这４种状态的定义和相互之间的转换与ＭＥＳＩ协议相同．下面重点对本文提出的Ｓｈａｒｅ－Ｆ状态进行介绍．Ｓｈａｒｅ－Ｆ状态适用于结点内Ｃａｃｈｅ一致性域处于Ｓ状态的缓存数据．具体地，在同一个域内，当存在同地址状态为Ｓ的缓存数据时，可为其中的缓存数据在域内构造唯一一个Ｓｈａｒｅ－Ｆ状态．Ｓｈａ
【作者单位】：高效能服务器和存储技术国家重点实验室(浪潮集团有限公司);
【基金】：国家“八六三”高技术研究发展计划基金项目(2013AA011701)~~
【分类号】：TP332

【参考文献】