面向大数据应用的异构可重构平台关键技术研究

发布时间：2017-08-26 02:37

  本文关键词：面向大数据应用的异构可重构平台关键技术研究

  更多相关文章： 大数据应用 异构可重构系统 编程模型 数据传输重叠化 设计空间搜索

【摘要】：互联网技术的发展,促进了全球数据的融合。网络搜索、电子商务、社交平台、物联网、基于云平台的语音和图片共享,以及现代医疗等应用每时每刻都在产生和处理海量的数据。从这些海量数据中发掘出有用的信息在现代社会的生产管理中起到了越来越重要的作用,大数据应用的时代已经来临。大数据应用具有数据量巨大,数据种类繁多,数据有待快速处理,以及数据价值不明确等特点。大数据应用的数据规模通常在太字节(TB,1012)量级,拍字节(PB1015)量级,甚至是艾字节(EB,10’8)量级,需要大量的计算工作。同时,大数据应用通常是对海量数据进行相同的分类、解析、学习、归纳的过程,计算过程中存在有大量的数据并行。现在常用的个人计算机系统以高性能通用处理器为计算核心,可进行并行计算的能力不足以充分发掘大数据应用潜在的并行能力。另外,大数据应用处理过程对数据操作的类型相对单一,造成在高性能通用处理器上一部分执行部件满载,另外一部分执行部件利用效率较低的现象。传统的高性能通用处理器平台已经不能满足大数据应用对系统计算能力和计算特征方面的需求。本文提出了一种面向大数据应用的异构可重构平台。该计算平台旨在使用异构多核可重构技术加速大数据应用的执行过程。本文主要的研究内容包括以下几个方面： 1.面向大数据应用的异构多核可重构平台的硬件设计本文提出了一种由集成高性能通用处理器的个人计算机系统和集成有可重构器件的开发板共同组成的异构多核可重构平台。该平台使用高性能处理器和片上硬件加速器核阵列并行执行程序,对大数据应用能够取得可观的性能优势。在该异构多核平台中,可重构器件和高性能通用处理器之间使用板间总线相连。两者处于一种松耦合的方式,增大了系统的可移植性和可扩展性。另外,可重构器件端集成了对片外内存的虚拟管理模块,为硬件加速器核处理大数据问题提供了存储支持。同时,可重构器件端还集成了嵌入式的通用处理器、板间总线控制接口、加速器核配置接口、片上调试模块等组件,为片上大数据应用加速器核的开发和运行提供了简单实用的硬件支持。 2.异构可重构平台上开发和运行时环境的研究现存的异构可重构加速平台存在着开发困难,灵活性和可移植性受限等缺点,尚缺少一种成熟的开发和运行时环境。本文提供了一套面向大数据应用的异构多核可重构平台编程模型,能够有效地解决异构平台上大数据应用开发和运行的编程墙问题。文章采用了一种分布式操作系统的运行模式,在个人计算机端和可重构器件端各自运行有操作系统,为各自的计算资源提供开发和运行时环境。其中个人计算机端的操作系统采用传统主流的操作系统；可重构器件端的操作系统是一个运行在片上嵌入式处理器上的资源管理程序。可重构器件端的嵌入式操作系统负责管理可重构器件端的数据传输、虚拟存储系统、加速器核的配置,以及硬件任务的创建和调度等工作。同时,嵌入式操作系统通过提供各个组件的调用接口,来允许系统开发人员申请片上的存储资源和计算资源,为片上系统的开发和运行提供简单易用的环境支持。 3.典型大数据应用在异构多核可重构平台上的设计为了验证和说明平台的优势,文章选取了生物信息学中的基因对齐算法,数据挖掘中的数据聚类和推荐算法,人工智能中的深度学习算法等大数据应用作为示例。本文为这些典型的大数据应用,在异构多核可重构平台上进行了加速方案的设计,并且分析了本文提出的异构多核重构平台对各个大数据应用取得性能优势。
【关键词】：大数据应用 异构可重构系统 编程模型 数据传输重叠化 设计空间搜索
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要5-7
• ABSTRACT7-9
• 目录9-11
• 表格索引11-12
• 插图索引12-15
• 算法索引15-16
• 第一章 绪论16-24
• 1.1 研究背景16-20
• 1.1.1 大数据应用16-17
• 1.1.2 异构多核计算17-19
• 1.1.3 研究动机19-20
• 1.2 论文工作内容20-22
• 1.2.1 研究目标20-21
• 1.2.2 主要研究内容21-22
• 1.3 论文组织结构22-24
• 第二章 相关工作24-36
• 2.1 大数据应用计算平台24-27
• 2.2 异构多核可重构平台操作系统相关研究27-30
• 2.3 片上内存管理30-34
• 2.4 本章小结34-36
• 第三章 面向大数据应用的异构可重构计算平台的硬件构建36-70
• 3.1 可重构计算36-42
• 3.1.1 可重构器件物理结构37-38
• 3.1.2 动态重构和部分重构38-42
• 3.2 可重构片上多核系统42-44
• 3.3 面向大数据应用的异构多核可重构加速平台架构44-62
• 3.3.1 总体架构44-46
• 3.3.2 片上异构多核可重构系统的构建46-48
• 3.3.3 实验平台48-50
• 3.3.4 传输接口设计和性能分析50-57
• 3.3.5 加速器核互联总线57-60
• 3.3.6 可重构计算平台内存组织60-62
• 3.4 基于可重构平台的加速器核的设计62-69
• 3.4.1 硬件加速器核设计规范62-63
• 3.4.2 多目标设计空间搜索63-69
• 3.5 本章小结69-70
• 第四章 异构多核可重构平台上的开发和运行时环境研究70-100
• 4.1 大数据应用开发和执行的总体流程70-71
• 4.2 大数据应用在异构多核可重构平台上的编程模型71-85
• 4.2.1 异构可重构平台上嵌入式操作系统提供的服务71-77
• 4.2.2 大数据计算平台软硬件任务开发77-79
• 4.2.3 大数据计算平台异构任务执行和硬件调度算法79-80
• 4.2.4 异构任务开发和执行实例80-85
• 4.3 异构计算平台上数据传输优化策略85-88
• 4.3.1 主机端对板载内存虚拟地址的获取85-86
• 4.3.2 数据传输的优先预取机制86-88
• 4.4 加速器核动态配置和路由算法88-93
• 4.5 基于SystemVerilog DPI的仿真验证模型93-98
• 4.6 本章小结98-100
• 第五章 典型大数据应用异构多核加速方案的设计100-124
• 5.1 实验环境100
• 5.2 基因匹配算法100-107
• 5.3 聚类算法107-114
• 5.4 深度学习算法114-118
• 5.5 数据推荐算法118-121
• 5.6 本章小结121-124
• 第六章 总结与展望124-128
• 6.1 本文的主要工作124-125
• 6.2 本文的创新点125
• 6.3 未来工作125-128
• 参考文献128-136
• 致谢136-138
• 在读期间发表的学术论文与取得的研究成果138-140

【共引文献】

中国期刊全文数据库 前10条

1 宗瑜;李明楚;江贺;;近似骨架导向的归约聚类算法[J];电子与信息学报;2009年12期

2 李颖;李永丽;蔡观洋;;基于双重阈值近邻查找的协同过滤算法[J];吉林大学学报(信息科学版);2013年06期

3 陶维成;王婷婷;姚琪;;基于Mahout的推荐系统构建[J];重庆科技学院学报(自然科学版);2014年02期

4 张磊;;基于遗忘曲线的协同过滤研究[J];电脑知识与技术;2014年12期

5 王越;程昌正;;协同过滤算法在电影推荐中的应用[J];四川兵工学报;2014年05期

6 陶彩霞;袁海;陈康;马安华;;灵活适应不同业务的个性化推荐系统研究[J];电信科学;2014年08期

7 徐彬;张建明;;基于标签与协同过滤算法的淘书吧应用[J];电子设计工程;2014年23期

8 吕成戍;盖印;匡宇鹏;;基于支持向量机回归的协同过滤相似度优化方法[J];中国管理信息化;2015年05期

9 隋占丽;李影;于娟;王波;;基于协同过滤技术的音乐推荐系统的研究[J];福建电脑;2015年02期

10 吴洁明;李汶羲;;基于Mahout的图书推荐引擎的研究与设计[J];工业技术创新;2015年03期

中国博士学位论文全文数据库 前10条

1 田永鸿;基于上下文的统计关系学习研究[D];中国科学院研究生院（计算技术研究所）;2005年

2 吴琼;面向真实性检测的数字图像盲取证方法研究[D];国防科学技术大学;2008年

3 王守强;多中心点聚类问题的随机算法[D];山东大学;2010年

4 宗瑜;聚类质量改进方法的研究[D];大连理工大学;2010年

5 马琳;面向移动互联网的开放服务技术架构及若干关键技术研究[D];北京邮电大学;2013年

6 李聪;协同过滤推荐系统托攻击防御技术研究[D];国防科学技术大学;2012年

7 李璐;基于MP2P的内容分发机制研究[D];哈尔滨工程大学;2013年

8 冷亚军;协同过滤技术及其在推荐系统中的应用研究[D];合肥工业大学;2013年

9 冯玉翔;大规模分布式环境下动态信任管理机制的研究[D];华南理工大学;2013年

10 孔维梁;协同过滤推荐系统关键问题研究[D];华中师范大学;2013年

，

本文编号：739190