Hadoop环境下三维模型的存储及形状分布特征提取

发布时间：2020-07-09 11:59

【摘要】：随着三维模型数量爆炸式的增长,如何有效地存储和管理海量的三维模型文件并对其进行高效的处理,是三维模型检索领域亟待解决的问题.首先基于模型文件名的概念相似度对模型文件分类合并,存入Hadoop集群的分布式文件系统(Hadoop distributed file system,HDFS);然后通过引入拓扑结构一致性因子,设计了三维模型完整性函数,实现了Hadoop环境下对三维模型形状分布的MapReduce处理,并根据分布式计算的特点进行了性能优化.以中国台湾大学的三维模型数据库作为测试集在Hadoop集群上进行实验,验证了算法的有效性.
【图文】：

在如下问题：１）由于三维模型文件大小差别很大，从ＫＢ级直到上百ＭＢ，而且存在众多小模型文件，给ＨＤＦＳ存储三维模型文件带来挑战；２）三维模型文件结构具有特定的逻辑，三角面片的数据依赖于顶点的位置信息，ＭａｐＲｅｄｕｃｅ过程中顶点位置的变动会破坏模型文件，这是ＭａｐＲｅｄｕｃｅ处理三维模型需要解决的问题．为了解决三维模型文件大小差异的问题，本文首先将三维模型初步分类，然后对众多三维模型文件进行合并，构建索引后分别将模型文件和索引文件存入ＨＤＦＳ，如图３所示：图３三维模型ＨＤＦＳ存储思想１．１三维模型文件大小差异问题分析通过调研发现，普林斯顿大学、台湾大学等大学的模型库中文件大小差别很大，既有２０ＫＢ的超小文件，又有８０ＭＢ的较大文件，但是其中有９５％的模型文件都小于１０ＭＢ．关于小文件的评判标准，一些学者进行了相应的研究．Ｌｉｕ等人认为小于１６ＭＢ的文件是小文件［１１］．Ｄｏｎｇ等人通过实验量化得出在其实验环境下小于４．３５ＭＢ的文件是小文件［１２］．小文件对Ｈａｄｏｏｐ集群带来的负面影响已经引起学者、开发人员注意，并进行了相应的研究工作［１２］．在Ｈａｄｏｏｐ集群中，ＮａｍｅＮｏｄｅ将文件的元数据存储于内存中，每个文件、目录和数据块的存储信息大约占１５０Ｂ．当文件数量达到百万千万且每个文件占一个数据块，内存占用量会给ＮａｍｅＮｏｄｅ节点带来内存瓶颈．而在ＭａｐＲｅｄｕｃｅ处理大量的小文件时，会为每个存储了一个小文件的数据块（小于槽ｓｌｏｔ）启动一个映射Ｍａｐ．过多的Ｍａｐ

一个小文件的数据块（小于槽ｓｌｏｔ）启动一个映射Ｍａｐ．过多的Ｍａｐ会影响任务的提交速度，延长任务的运行时间，浪费集群系统资源．模型文件大小差异明显，既会导致Ｍａｐ数目不确定，出现数据倾斜，也会延长作业的运行时间并导致模型存储的不一致性．因此，如何处理小文件是在ＨＤＦＳ中存储三维模型的关键技术［１３－１４］．为了达到存储负载均衡的同时便于三维模型检索操作，本文先根据模型文件的语义信息相似度对模型文件进行粗分类，然后对同类模型文件进行合并．图４三维模型初步分类体系１．２三维模型概念相似度分类三维模型检索遵从数据的局部性原理，这里的局部性指的是模型间的相似度、文件大小等，例如检索三维模型时，用户更关注与之相似或属于同一类别的模型．因此，相同类别的模型将被归并到一处后存入ＨＤＦＳ中，以便于检索．普林斯顿大学三维模型检索小组提出了通用三维模型的基本分类信息［１５］，本文在此基础上为所有类别设置一个共同的根节点ｏｂｊｅｃｔ，构建一棵分类树，如图４所示．该分２０计算机研究与发展２０１４，５１（增刊）

图９三维模型采样算法流程图图１０三维模型特征向量采集数为ｄｉｍＮｕｍｂｅｒ的向量作为模型的特征向量．３实验结果与分析３．１实验环境实验平台是由４个节点组成的Ｈａｄｏｏｐ集群，一个名字节点（Ｎａｍｅｎｏｄｅ）和３个数据节点（Ｄａｔａｎｏｄｅ），其硬件与软件配置如表１所示：表１系统实验环境软硬件配置硬件配置ＮａｍｅｎｏｄｅＤａｔａｎｏｄｅＣＰＵｓ１６Ｉｎｔｅｌ?Ｘｅｏｎ?２．４０ＧＨｚ内存（ＲＡＭ）２４ＧＢ１２ＧＢ硬盘大小１ＴＢ３００ＧＢ操作系统ＲｅｄＨａｔＥｎｔｅｒｐｒｉｓｅＬｉｎｕｘＳｅｒｖｅｒ６．１（ｘ８６＿６４）ＪＤＫ版本ｊｄｋ－６ｕ３２－ｌｉｎｕｘ－ｘ６４２４计算机研究与发展２０１４，５１（增刊）

【参考文献】

相关期刊论文 前2条

1 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

2 彭京;杨冬青;唐世渭;王腾蛟;高军;;基于概念相似度的文本相似计算[J];中国科学（F辑:信息科学）;2009年05期

【共引文献】

相关期刊论文 前10条

1 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

2 吴建军;;网络舆情的云计算监测模式分析与实现[J];电讯技术;2013年04期

3 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

4 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

5 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

6 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

7 王晓华;;一种新型的Hadoop本地化测试模型[J];赤峰学院学报(自然科学版);2013年19期

8 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

9 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

10 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

相关会议论文 前10条

1 陈德华;解维;李悦;;面向大规模图数据的分布式并行聚类算法研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

2 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

3 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

4 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

5 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

6 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

7 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年

8 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

9 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

10 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

相关博士学位论文 前10条

1 刘兴林;中文词汇知识获取算法和语义计算研究及应用[D];华南理工大学;2012年

2 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

3 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

4 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

5 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

6 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

7 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

8 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

9 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

10 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

相关硕士学位论文 前10条

1 刘嵩;网络中文事件自动检测技术研究[D];解放军信息工程大学;2010年

2 刘旭;博客热点话题挖掘方法[D];哈尔滨工业大学;2010年

3 储超尘;面向SaaS的IT资源综合监控系统及其关键技术的研究[D];中南大学;2012年

4 解维;分布式图聚类及其在电子商务数据挖掘中的应用[D];东华大学;2013年

5 郭勇;基于《知网》的词语相似度计算研究及应用[D];湖南大学;2012年

6 敖杰刚;分布式并行计算下GML空间数据复制同步更新机制研究[D];江西理工大学;2012年

7 王家惠;移动云计算下位置服务数据管理与应用研究[D];大连海事大学;2013年

8 汪惺惺;LAMOST科学计算云平台系统的构建与应用[D];山东大学;2013年

9 谢磊;基于Bl-PaaS平台的界面定制技术的研究与实现[D];北京邮电大学;2013年

10 杨丛聿;基于MapReduce模型的图像相似度分析[D];北京邮电大学;2013年

【二级参考文献】

相关期刊论文 前5条

1 宁焕生;张瑜;刘芳丽;刘文明;渠慎丰;;中国物联网信息服务系统研究[J];电子学报;2006年S1期

2 廖名学;范植华;;MPI程序同步通信基本模型死锁检测[J];电子学报;2008年02期

3 宁焕生;徐群玉;;全球物联网发展及中国物联网建设若干思考[J];电子学报;2010年11期

4 徐小玲,彭京,石葆梅,方全心,张竞;一种基于边序列的任意两点间最短路径算法[J];计算机工程与应用;2005年29期

5 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

【相似文献】

相关期刊论文 前10条

1 陈晓霞,於时才,邢静忠;杆系结构三维模型图自动生成的算法与应用[J];工程图学学报;2001年01期

2 孙林,岳丽华,刘合;一种绘制油层连通栅状图的三维模型[J];微计算机应用;2001年05期

3 贺爱东;一种基于立方单元体的三维模型的构造方法及算法分析[J];现代计算机(专业版);2003年10期

4 王峰,周江华,孙国基;三维模型交互式浏览的简捷算法[J];计算机工程与应用;2004年26期

5 赖伟,孙岭,王仁华;一种基于三维模型和照片的合成“说话头”[J];中国图象图形学报;2004年07期

6 李其创;;海景大道三维模型的建立[J];江西测绘;2008年01期

7 章菲倩;孙正兴;张尧烨;宋沫飞;;采用单笔画草绘的三维模型编辑方法[J];计算机辅助设计与图形学学报;2010年09期

8 吴小鹏;;行李处理系统设计中三维模型的研究[J];电脑知识与技术;2011年10期

9 李洲洋;田锡天;耿俊浩;田富君;;基于轻量化三维模型的CAD/CAPP/CNC系统集成技术研究[J];西北工业大学学报;2011年04期

10 田枫;沈旭昆;刘贤梅;周凯;杜睿山;;一种基于弱标签的三维模型语义自动标注方法[J];系统仿真学报;2012年09期

相关会议论文 前10条

1 付鑫;唐雁;;三维模型传输技术[A];2008年计算机应用技术交流会论文集[C];2008年

2 陈春林;刘萍;王黎;段慧;陈兰;唐怡欣;毛东瑞;;在体盆腔数字化三维模型构建的方法和意义[A];中华医学会第十次全国妇产科学术会议妇科肿瘤会场（妇科肿瘤学组、妇科病理学组）论文汇编[C];2012年

3 富瑶;杨青;罗建峰;;三维模型归档方案初探[A];档案事业改革与创新——2013年全国青年档案工作者研讨会论文集[C];2013年

4 张铭和;;展览展示应用中的三维模型快速合成方法[A];创意科技助力数字博物馆[C];2011年

5 李少华;张尚锋;汪海涛;;P油田长61小层孔隙度三维模型的建立[A];2001年全国沉积学大会摘要论文集[C];2001年

6 邢玉辉;吕天阳;王钲旋;王添翼;;利用共面性计算射线与三维模型表面交点的快速算法[A];第十二届全国图象图形学学术会议论文集[C];2005年

7 刘晓静;黄维通;;三维模型预处理技术及其在检索中的应用[A];第四届和谐人机环境联合学术会议论文集[C];2008年

8 宿太学;王钲旋;吕天阳;邢玉辉;;两个自动终止聚类算法应用于三维模型数据集的效果研究[A];第十二届全国图象图形学学术会议论文集[C];2005年

9 刘玉杰;李宗民;李华;;基于电场模板的三维模型反射对称性检测[A];中国图学新进展2007——第一届中国图学大会暨第十届华东六省一市工程图学学术年会论文集[C];2007年

10 逯岩;逯允海;郭希娟;;一种基于MRG(Multiresolutional Reeb Graph)的三维检索技术的改进算法[A];2005年全国理论计算机科学学术年会论文集[C];2005年

相关重要报纸文章 前10条

1 记者 吴晓菁;楼盘采光好不好看三维模型就知道[N];厦门日报;2011年

2 记者 吴晓菁;楼盘采光好不好看三维模型就知道[N];厦门日报;2011年

3 刘阳　李兆平;北京院完成首钢厂区精细数字三维模型[N];中国测绘报;2012年

4 朱冰;重建真实树木三维模型实现重要突破[N];中国高新技术产业导报;2008年

5 记者 宋兰兰;我市建成国内首个特大城市三维模型[N];长江日报;2010年

6 曲臣;装备制造劲吹3D风[N];中国航天报;2012年

7 本报记者 耿诺 实习生 陈诺;6万张高清图“重建”昔日首钢[N];北京日报;2012年

8 记者 吴劲松;身临其境体验城区现状与未来[N];昆明日报;2014年

9 记者 张巍巍;美改进阻止癌症复发化疗技术[N];科技日报;2012年

10 北京青云航空仪表公司 黄迪生 高级工程师;用PLM理念夯实信息化基础[N];科技日报;2005年

相关博士学位论文 前10条

1 蒋立军;三维模型的局部匹配和检索方法研究[D];哈尔滨工业大学;2014年

2 孙挺;三维模型特征提取技术研究[D];西北大学;2011年

3 章志勇;三维模型几何相似性比较的研究[D];浙江大学;2005年

4 孙晓鹏;三维模型的分割及应用研究[D];中国科学院研究生院（计算技术研究所）;2005年

5 柳伟;三维模型特征提取与检索[D];上海交通大学;2008年

6 郭竞;三维模型语义检索相关问题研究[D];西北大学;2013年

7 何其真;三维模型的表达、分析及其在三维仿真与模型检索中的应用[D];中国科学技术大学;2010年

8 田丰林;海量三维模型的交互绘制[D];浙江大学;2010年

9 肖鸿;面向复杂产品装配现场的移动三维模型关键技术研究[D];西北工业大学;2014年

10 潘翔;三维模型形状分析和检索[D];浙江大学;2005年

相关硕士学位论文 前10条

1 郑赢;基于多特征融合的三维模型自适应分类方法研究与实现[D];西北大学;2010年

2 张晓东;三维模型的形状特征提取方法研究[D];中国石油大学;2010年

3 鲍峰;分数阶Fourier变换在三维模型处理中应用[D];中国石油大学;2011年

4 高洪波;丹江口水库三维模型的建立及关键问题研究[D];华中师范大学;2002年

5 陈雪颂;基于三维模型的二、三维一体化技术研究[D];浙江大学;2004年

6 晁晓娜;基于非对称三维模型的研究及仿真应用[D];大连理工大学;2010年

7 陈清锋;无线有损网络环境下三维模型传输的若干关键技术研究[D];浙江工商大学;2011年

8 姜北北;基于全三维模型工艺设计技术[D];沈阳理工大学;2013年

9 蒯澄宇;基于神经网络选择性集成的三维模型分类技术研究[D];吉林大学;2009年

10 唐聪恺;基于有限元的三维角膜构建及其生物力学分析[D];厦门大学;2006年

本文编号：2747424