混合内存云架构的数据对象管理策略
发布时间：2020-04-18 12:58
【摘要】：为有效解决内存云主要存储器件DRAM面临能耗损失大、数据可靠性差、断电易失等问题,提出使用非易失性存储器件PCM替换部分DRAM器件构成混合内存云架构。构建最优分配比模型,在系统总能耗一定的情况下,DRAM和PCM的分配比为4.847∶1时,系统的存储效用最高;通过数据对象预分类模型将数据对象按照读写倾向性分配到内存器件中,构建二室模型对数据对象的迁移和备份速率进行计算,确保系统的稳定性和可靠性。模拟算例结果表明,与相同能耗的内存云架构相比,该混合内存云架构提高了9.37%的存储能力,断电恢复延迟减少15.87%。
【图文】：
。需要特别说明协调器并不参与一般的读写问题，内存云的客户端均维护了一个数据存放位置的本地缓存，从而可直接与主服务器连接快速得到反馈结果，仅仅在本地缓存丢失重要数据或者缓存落后的情况下客户端才会连接协调器获取最新映射情况，此种机制有效减少了协调器的负载并增加了协调器的可扩展性。由于保存在内存云中的数据掉电易失，为了保证数据的可靠性，每一台主服务器中的信息需要随时备份到若干备份服务器的磁盘中，此种方法使得存储器成本增加，且大幅度增加系统能耗［４－７］。内存云的基本结构如图１所示。图１内存云基本结构内存云使用ＤＲＡＭ和磁盘进行备份，每个对象的单个副本存储在主服务器的ＤＲＡＭ中，且其它备份存放在备份服务器的磁盘中，每一个服务器既是主服务器又是备份服务器。为了利用全部的磁盘带宽，至少两份备份日志被批量异步地传送至磁盘中。具体过程如图２所示。图２内存云备份过程２混合内存云架构由于ＤＲＡＭ内存的误码率相对较高，外围逻辑错误、对内存进行复杂写入的软件错误、与ＤＲＡＭ相关的软硬件错误都可能导致ＤＲＡＭ发生损坏［８］。本混合存储架构将内存器件ＤＲＡＭ和ＰＣＭ按照４．８４７∶１的比例进行分配，具体分配比率计算将在下节进行详细解释证明，构成ＰＣＭ与ＤＲＡＭ的同级混合内存云，如图３所示。图３混合内存云存储架构混合内存云架构同样使用键－值存储，保证低延迟的基础上支持各类应用。将数据分为多个表，表中包含高达６４ＫＢ的可变长度密钥用于唯一标识此表，高达１ＭＢ的可变长度值和一个６４位的版本号。最大存储数据对象不超过１ＭＢ，数据对象可被分配到一个或多个表中，表可跨越集群中的一个或多个服务器，存储在单个服务器
调器的可扩展性。由于保存在内存云中的数据掉电易失，为了保证数据的可靠性，每一台主服务器中的信息需要随时备份到若干备份服务器的磁盘中，此种方法使得存储器成本增加，且大幅度增加系统能耗［４－７］。内存云的基本结构如图１所示。图１内存云基本结构内存云使用ＤＲＡＭ和磁盘进行备份，每个对象的单个副本存储在主服务器的ＤＲＡＭ中，且其它备份存放在备份服务器的磁盘中，每一个服务器既是主服务器又是备份服务器。为了利用全部的磁盘带宽，至少两份备份日志被批量异步地传送至磁盘中。具体过程如图２所示。图２内存云备份过程２混合内存云架构由于ＤＲＡＭ内存的误码率相对较高，外围逻辑错误、对内存进行复杂写入的软件错误、与ＤＲＡＭ相关的软硬件错误都可能导致ＤＲＡＭ发生损坏［８］。本混合存储架构将内存器件ＤＲＡＭ和ＰＣＭ按照４．８４７∶１的比例进行分配，具体分配比率计算将在下节进行详细解释证明，构成ＰＣＭ与ＤＲＡＭ的同级混合内存云，如图３所示。图３混合内存云存储架构混合内存云架构同样使用键－值存储，保证低延迟的基础上支持各类应用。将数据分为多个表，表中包含高达６４ＫＢ的可变长度密钥用于唯一标识此表，高达１ＭＢ的可变长度值和一个６４位的版本号。最大存储数据对象不超过１ＭＢ，数据对象可被分配到一个或多个表中，表可跨越集群中的一个或多个服务器，，存储在单个服务器上表的子集称为ｔａｂｌｅｔ。客户端通过协调器将表分配到一个或多个内存服务器中，每个表被６４位唯一标识符命名（ｔａｂｌｅＩｄ），客户端通过指定的＜ｔａｂｌｅＩｄ，ｋｅｙ＞原组来访问数据对象。表１为客户端数据对象的所有操作管理。·３８２·
本文编号：2632115
【图文】：
。需要特别说明协调器并不参与一般的读写问题，内存云的客户端均维护了一个数据存放位置的本地缓存，从而可直接与主服务器连接快速得到反馈结果，仅仅在本地缓存丢失重要数据或者缓存落后的情况下客户端才会连接协调器获取最新映射情况，此种机制有效减少了协调器的负载并增加了协调器的可扩展性。由于保存在内存云中的数据掉电易失，为了保证数据的可靠性，每一台主服务器中的信息需要随时备份到若干备份服务器的磁盘中，此种方法使得存储器成本增加，且大幅度增加系统能耗［４－７］。内存云的基本结构如图１所示。图１内存云基本结构内存云使用ＤＲＡＭ和磁盘进行备份，每个对象的单个副本存储在主服务器的ＤＲＡＭ中，且其它备份存放在备份服务器的磁盘中，每一个服务器既是主服务器又是备份服务器。为了利用全部的磁盘带宽，至少两份备份日志被批量异步地传送至磁盘中。具体过程如图２所示。图２内存云备份过程２混合内存云架构由于ＤＲＡＭ内存的误码率相对较高，外围逻辑错误、对内存进行复杂写入的软件错误、与ＤＲＡＭ相关的软硬件错误都可能导致ＤＲＡＭ发生损坏［８］。本混合存储架构将内存器件ＤＲＡＭ和ＰＣＭ按照４．８４７∶１的比例进行分配，具体分配比率计算将在下节进行详细解释证明，构成ＰＣＭ与ＤＲＡＭ的同级混合内存云，如图３所示。图３混合内存云存储架构混合内存云架构同样使用键－值存储，保证低延迟的基础上支持各类应用。将数据分为多个表，表中包含高达６４ＫＢ的可变长度密钥用于唯一标识此表，高达１ＭＢ的可变长度值和一个６４位的版本号。最大存储数据对象不超过１ＭＢ，数据对象可被分配到一个或多个表中，表可跨越集群中的一个或多个服务器，存储在单个服务器
调器的可扩展性。由于保存在内存云中的数据掉电易失，为了保证数据的可靠性，每一台主服务器中的信息需要随时备份到若干备份服务器的磁盘中，此种方法使得存储器成本增加，且大幅度增加系统能耗［４－７］。内存云的基本结构如图１所示。图１内存云基本结构内存云使用ＤＲＡＭ和磁盘进行备份，每个对象的单个副本存储在主服务器的ＤＲＡＭ中，且其它备份存放在备份服务器的磁盘中，每一个服务器既是主服务器又是备份服务器。为了利用全部的磁盘带宽，至少两份备份日志被批量异步地传送至磁盘中。具体过程如图２所示。图２内存云备份过程２混合内存云架构由于ＤＲＡＭ内存的误码率相对较高，外围逻辑错误、对内存进行复杂写入的软件错误、与ＤＲＡＭ相关的软硬件错误都可能导致ＤＲＡＭ发生损坏［８］。本混合存储架构将内存器件ＤＲＡＭ和ＰＣＭ按照４．８４７∶１的比例进行分配，具体分配比率计算将在下节进行详细解释证明，构成ＰＣＭ与ＤＲＡＭ的同级混合内存云，如图３所示。图３混合内存云存储架构混合内存云架构同样使用键－值存储，保证低延迟的基础上支持各类应用。将数据分为多个表，表中包含高达６４ＫＢ的可变长度密钥用于唯一标识此表，高达１ＭＢ的可变长度值和一个６４位的版本号。最大存储数据对象不超过１ＭＢ，数据对象可被分配到一个或多个表中，表可跨越集群中的一个或多个服务器，，存储在单个服务器上表的子集称为ｔａｂｌｅｔ。客户端通过协调器将表分配到一个或多个内存服务器中，每个表被６４位唯一标识符命名（ｔａｂｌｅＩｄ），客户端通过指定的＜ｔａｂｌｅＩｄ，ｋｅｙ＞原组来访问数据对象。表１为客户端数据对象的所有操作管理。·３８２·
【相似文献】
相关期刊论文 前1条
1 刘群;冯丹;李坚;;基于数据对象的访问模型的研究[J];武汉理工大学学报;2010年20期
相关硕士学位论文 前1条
1 贾晓萌;面向大数据应用的数据对象页模型研究[D];国防科学技术大学;2014年
本文编号：2632115
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2632115.html
