基于Hadoop的RDF数据存储及查询优化

发布时间：2018-08-11 10:43

【摘要】：随着资源描述框架(resource description framework,RDF)数据量的快速增长,利用分布式的方法来存储和管理大规模RDF数据成为当前的研究热点。为了实现对海量RDF数据的高效存储和查询,研究了RDF三元组在分布式平台Hadoop中的存储和查询方法,提出了一种新的基于Hadoop的RDF数据处理优化方法,通过采用基于HBase混合式数据布局方法以及引入MapReduce连接查询的I/O代价模型来对海量RDF数据的查询进行优化。在LUBM标准测试数据集中进行了实验,结果表明该方法能够在保证空间效率的前提下,有效地提高复杂查询的效率。
[Abstract]:With the rapid growth of the data volume of resource description framework (resource description framework), using distributed methods to store and manage large-scale RDF data has become a hot research topic. In order to efficiently store and query massive RDF data, the storage and query methods of RDF triples in distributed platform Hadoop are studied, and a new RDF data processing optimization method based on Hadoop is proposed. Based on HBase hybrid data layout method and I / O cost model of MapReduce join query, the query of mass RDF data is optimized. Experiments on the LUBM standard test data set show that the proposed method can effectively improve the efficiency of complex queries on the premise of ensuring spatial efficiency.
【作者单位】： 中南大学信息科学与工程学院;
【基金】：中南大学高校教师研究基金资助项目
【分类号】：TP311.13

【参考文献】

相关期刊论文 前5条

1 宋杰;李甜甜;朱志良;鲍玉斌;于戈;;MapReduce连接查询的I/O代价研究[J];软件学报;2015年06期

2 杨健;罗军;;基于Hadoop的RDF数据存储策略综述[J];信息安全与技术;2015年05期

3 王林彬;黎建辉;沈志宏;;基于NoSQL的RDF数据存储与查询技术综述[J];计算机应用研究;2015年05期

4 李国鼎;冯志勇;饶国政;王鑫;;基于BSP的SPARQL基本图模式查询算法[J];计算机工程;2014年09期

5 杜方;陈跃国;杜小勇;;RDF数据查询处理技术综述[J];软件学报;2013年06期

相关博士学位论文 前1条

1 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

【共引文献】

相关期刊论文 前10条

1 李娟;濮阳小娟;;具有折扣销售期的网络零售商定价策略分析[J];管理工程学报;2017年03期

2 毛照f ;王方圆;;基于消费者行为和估值折扣差异的易逝品两期定价决策研究[J];管理学报;2017年03期

3 毛照f ;董兆朝;刘伟;李晓梅;;常规产品与新产品的预售与回购策略比较研究[J];计算机集成制造系统;2017年04期

4 计国君;赵洋;;多顾客类型下战略顾客的选择和最优策略[J];软科学;2016年10期

5 王宣涛;张玉林;储九志;;考虑炫耀性与策略性消费行为的具有两次订货能力的零售商决策研究[J];管理工程学报;2016年04期

6 张新鑫;申成霖;侯文华;;考虑竞争者进入威胁的易逝品动态定价机制[J];管理科学学报;2016年10期

7 计国君;赵洋;;基于双渠道两个销售期的战略顾客购买行为分析[J];商业研究;2016年06期

8 赵江;梅姝娥;仲伟俊;;基于不同定向精度的企业定向广告投放策略[J];系统工程学报;2016年02期

9 张雪梅;郭真真;魏遥;;基于顾客满意度的服务产品两周期动态定价问题研究[J];阜阳师范学院学报(自然科学版);2016年01期

10 毛照f ;刘弯弯;李辉;;季节性易逝品预售与回购联合决策研究[J];管理科学学报;2016年02期

【二级参考文献】

相关期刊论文 前7条

1 官振中;任建标;;不确定性需求下的易逝性高科技产品定价策略研究[J];系统工程学报;2011年01期

2 申成霖;张新鑫;;运营管理中策略性消费行为研究述评与展望[J];外国经济与管理;2010年07期

3 刘晓峰;黄沛;;基于策略型消费者的最优动态定价与库存决策[J];管理科学学报;2009年05期

4 杨慧;周晶;;易逝品降价时点设定问题的Cournot博弈模型[J];中国管理科学;2006年03期

5 罗利,萧柏春;收入管理理论的研究现状及发展前景[J];管理科学学报;2004年05期

6 刘德文,萧柏春,鲁若愚;易逝性高新技术产品在衰退期的收入管理问题[J];管理科学学报;2003年06期

7 陈旭;酒店收益管理的研究进展与前景[J];管理科学学报;2003年06期

【相似文献】

相关期刊论文 前10条

1 芦金石,李红星,李晓;分布式异构数据库的遗传查询优化[J];计算机应用与软件;2004年07期

2 王昱;分布式数据库系统的查询优化策略研究[J];海军工程大学学报;2004年03期

3 陈亮;王献荣;;Informix Dynamic Server的查询优化策略[J];开封大学学报;2005年04期

4 何源,戴小鹏,张林峰;数据查询优化算法综述[J];计算机与现代化;2005年04期

5 韩中;汪伟;;海量数据的查询优化[J];科技资讯;2006年14期

6 刘冰;李正凡;;分布式数据库系统的查询优化策略研究[J];华东交通大学学报;2007年02期

7 陈智慧;郗海龙;;基于分布式数据库系统查询优化研究[J];科技咨询导报;2007年27期

8 孙振宝;;查询优化策略在分布式数据库系统中的应用[J];黑龙江科技信息;2007年20期

9 冉崇善;仝武宁;李宏斌;;分布式资产管理查询优化的研究[J];邮电设计技术;2008年11期

10 王书爱;;分布式数据库系统的查询优化策略[J];计算机与网络;2008年10期

相关会议论文 前10条

1 梁雄友;薛永生;;一种基于多副本均衡负载的多元联接查询优化算法[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

2 韩萌;洪晓光;张勇;王文宜;;分层回溯用于数据库的查询优化[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

3 曹阳;方强;王国仁;于戈;;一种基于遗传算法的多连接表达式的并行查询优化方法[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 黄杰;陈琳;贾焰;邹鹏;;文献数据库融合系统中基于文献内容的查询优化方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

5 张淑芝;刘国华;聂俊岚;;广域传感器数据库中的多查询优化[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

6 徐丹;马修军;谢昆青;;空间数据库的混合查询优化策略[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

7 江明菲;吴文明;陈yN祺;董逸生;;移动环境下的查询优化处理[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

8 吕彬;杜小勇;王琰;;基于属性相关性的SPARQL查询优化方法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

9 冯玉才;黄琳倩;;一种外联接优化的设计与实现[A];第十六届全国数据库学术会议论文集[C];1999年

10 陈庆奎;李建中;那丽春;;计算机机群环境下并行查询优化处理技术的研究[A];第十五届全国数据库学术会议论文集[C];1998年

相关博士学位论文 前3条

1 蒋涛;分段时序查询优化方法研究[D];华中科技大学;2010年

2 于红;综合信息集成及查询优化的研究[D];大连理工大学;2006年

3 孙伟;XML数据库查询优化及相关技术研究[D];哈尔滨工程大学;2006年

相关硕士学位论文 前10条

1 袁双双;基于成本的流计算语言优化模型研究[D];电子科技大学;2015年

2 李甜甜;MapReduce连接聚集查询优化方法的研究与实现[D];东北大学;2013年

3 曾书博;天文学领域的大数据并行查询优化[D];哈尔滨工业大学;2015年

4 丁玎;云环境下基于MapReduce的查询优化系统研究与实现[D];东南大学;2015年

5 刘春雷;基于代价模型的Spark SQL查询优化研究[D];电子科技大学;2016年

6 曾祥楷;基于内存的分布式列式数据库查询优化[D];电子科技大学;2016年

7 蔡凯臻;SQL到SPARK查询优化机制研究[D];东南大学;2016年

8 左海超;AOC系统设计与关键技术研究[D];中国民航大学;2012年

9 王亚君;RDF语义数据存储编码与查询优化研究[D];西安电子科技大学;2015年

10 朱婷婷;基于谓词选择率估计的SPARQL查询优化[D];武汉科技大学;2016年

，

本文编号：2176771