MIC集群上彩虹表的构造与查找技术研究

发布时间：2017-10-23 03:04

  本文关键词：MIC集群上彩虹表的构造与查找技术研究

  更多相关文章： 集群 彩虹表 散列函数 MIC

【摘要】：继彩虹表算法提出后,利用这一基于时空权衡原理来分析散列函数碰撞的方法得到了广泛的应用。目前关于彩虹表的研究工作主要有两个方向:一是在对彩虹表算法基础原理的分析上寻找突破口,通过优化算法效率或者减少存储占用空间,降低大规模彩虹表构造和查找的成本;二是利用日益发展完善的硬件或软件技术满足不断增长的彩虹表规模需求。如GPU分布式技术、FPGA技术、Map/Reduce分布式框架以及HBase存储技术等。近些年来,Intel公司也发布了应用在高性能领域的MIC(Many Integrated Cores)协处理器。MIC具有高度的并行度,非常适用于复杂的逻辑计算中。因此本文使用CPU加MIC协处理器的分布式技术完成彩虹表的构造与查找技术的研究工作。本文设计和实现了基于MIC集群的彩虹表系统,该集群用以完成常用哈希算法的口令搜索任务。该系统有三大模块,分别为彩虹表的数据生成模块、数据重整模块和在线查找模块。彩虹表数据生成模块使用了MIC集群技术将原有的大彩虹表计算空间均匀的分配给各MIC节点,每个计算节点独立完成分配的生成任务。数据重整模块为了最大程度的使用内存加速操作,使用了二级索引和桶排序的方法,减少文件I/O访问次数,提高算法效率。在线查找模块分为计算节点和存储节点,计算节点使用了MIC加速卡计算链终点和链恢复操作,存储节点检索终点和返回起点。系统的设计满足可扩展性和高效率的特点。本文还对系统的数据完整性和一致性做了可靠性设计和相关的优化技术。论文的最后还对常用的散列算法进行大量的口令搜索测试,效果良好。
【关键词】：集群 彩虹表 散列函数 MIC
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP332;TP301.6
【目录】：

• 摘要5-6
• Abstract6-10
• 主要符号表10-11
• 第一章 绪论11-15
• 1.1 研究目的和意义11-12
• 1.2 研究现状12-13
• 1.3 论文主要工作13-14
• 1.4 论文章节安排14-15
• 第二章 准备工作15-30
• 2.1 常见散列函数15-19
• 2.1.1 MD4算法15-16
• 2.1.2 MD5算法16-18
• 2.1.3 SHA 1 算法18-19
• 2.1.4 MD4、MD5、SHA1的比较19
• 2.2 时空折中算法19-24
• 2.2.1 Hellman经典表20-22
• 2.2.2 Rivest可区分点(DP)方法22-23
• 2.2.3 Oechslin改进方法23-24
• 2.3 MIC相关技术24-29
• 2.3.1 MIC硬件结构25-26
• 2.3.2 MIC系统软件26-29
• 2.4 本章小结29-30
• 第三章 MIC集群上彩虹表的生成30-53
• 3.1 系统结构30-31
• 3.2 彩虹表结构设计31-38
• 3.2.1 彩虹表参数定义及设计方法31-32
• 3.2.2 彩虹表原始数据文件结构32-33
• 3.2.3 规约函数33-38
• 3.3 并行化设计38-42
• 3.3.1 节点间并行设计38-39
• 3.3.2 节点上MIC卡并行设计39-40
• 3.3.3 MIC上并行设计40-42
• 3.4 并行层次实现42-47
• 3.4.1 节点间的MPI并行42-43
• 3.4.2 节点上MIC卡间的Pthread并行43-45
• 3.4.3 MIC卡上的OpenMP并行45-47
• 3.5 优化技术47-49
• 3.5.1 UTF 8 编码格式字符集优化47-48
• 3.5.2 字符集扩展优化48-49
• 3.6 系统可靠性设计49-52
• 3.6.1 故障节点的数据恢复50-51
• 3.6.2 生成数据一致性与完整性检测51-52
• 3.7 本章小结52-53
• 第四章 彩虹表原始数据重整53-60
• 4.1 存储服务器的基本特征53
• 4.2 彩虹表重整方案53-59
• 4.2.1 参数选择54-55
• 4.2.2 数据重整与索引恢复55-56
• 4.2.3 重整算法优化56-59
• 4.3 本章小结59-60
• 第五章 彩虹表的在线查找60-75
• 5.1 系统总体结构60-61
• 5.2 查找表算法61-62
• 5.3 计算节点MIC并行计算62-68
• 5.3.1 程序流程与队列数据结构63-65
• 5.3.2 计算节点算法实现65-68
• 5.4 存储节点查找匹配68-71
• 5.4.1 程序流程与队列数据结构69-70
• 5.4.2 存储节点算法实现70-71
• 5.5 计算节点与存储节点的网络通信设计71-74
• 5.5.1 包类型定义72-73
• 5.5.2 端口定义73-74
• 5.6 本章小结74-75
• 第六章 实验结果及分析75-82
• 6.1 彩虹表生成算法性能分析75-78
• 6.2 彩虹表数据重整性能分析78-79
• 6.3 彩虹表在线查找性能分析79-80
• 6.4 彩虹表命中率分析80-81
• 6.5 本章小结81-82
• 总结与展望82-84
• 参考文献84-86
• 致谢86-87
• 答辩委员签名的答辩决议书87

【相似文献】

中国期刊全文数据库 前10条

1 舒兆港;李迪;叶峰;胡跃明;肖苏华;;基于模型集成计算(MIC)的嵌入式数控系统模型抽象及实现[J];制造业自动化;2007年11期

2 横刀;;摄像头内置MIC的故障解决[J];电脑知识与技术(经验技巧);2009年06期

3 ;MIC系列400不锈钢摄像机荣获“2009年度优良设计大奖”[J];中国安防;2010年08期

4 Xing;;解决Realtek HD Audio声卡MIC音量无法调节问题[J];电脑迷;2008年01期

5 ;英特尔公司计划推出基于英特尔集成众核(MIC)架构的全新产品[J];微电脑世界;2010年07期

6 周福宽;马彪;;MIC总线操作模式及其应用[J];测控技术;2005年12期

7 赫崇骏;MIC多节滤波器的制作[J];国防科技大学学报;1982年03期

8 秦为;吕彩琴;周力农;;MIC总线多控制器的设计与应用[J];机械管理开发;2006年06期

9 李阳;孟志国;吴春亚;王文;郭海成;张芳;熊绍珍;;MIC薄膜多晶硅材料的动态镍吸除技术基本机理及其应用[J];半导体学报;2007年10期

10 刘煜,杨福彪;MIC总线多控制器通讯的设计与应用[J];情报指挥控制系统与仿真技术;2005年01期

中国重要会议论文全文数据库 前2条

1 齐显龙;孙东杰;高剑;徐修礼;林琨;李春英;高天文;;外伤后细菌性致死性肉芽肿病原体生物膜构建及长期亚MIC林可霉素对其病原体形成生物膜能力影响研究[A];2006中国中西医结合皮肤性病学术会议论文汇编[C];2006年

2 陈衍;俞云松;祝进;陆军;;甲氧西林耐药金黄色葡萄球菌万古霉素MIC分布及不同药敏试验方法比较[A];2011年浙江省医学会医学病毒学分会、医学微生物与免疫学分会学术年会论文汇编[C];2011年

中国重要报纸全文数据库 前1条

1 连于慧 DigiTimes;MIC规格倒计时[N];电子资讯时报;2006年

中国博士学位论文全文数据库 前1条

1 刘丹丹;骨髓增生异常综合征的MIC特点及相关性研究[D];苏州大学;2009年

中国硕士学位论文全文数据库 前6条

1 王坤;骨髓增生异常综合征的MIC实验诊断研究[D];承德医学院;2015年

2 吴乾豪;MIC集群上彩虹表的构造与查找技术研究[D];华南理工大学;2016年

3 满秋红;急性淋巴细胞白血病MIC的诊断研究[D];中国人民解放军军事医学科学院;2004年

4 陈亚宁;MIC总线控制器的设计及应用[D];南京理工大学;2013年

5 陈静;MIC分档设备的设计[D];山东大学;2012年

6 唐晓微;以MIC做致密扩散层极限电流型氢传感器的研究[D];河北理工大学;2009年

，

本文编号：1081277