一种云环境下的大数据Top-K查询方法
本文关键词：一种云环境下的大数据Top-K查询方法
【摘要】：Top-K查询在搜索引擎、电子商务等领域有着广泛的应用.Top-K查询从海量数据中返回最符合用户需求的前K个结果,主要目的是消除信息过载带来的负面影响.大数据背景下的Top-K查询,给数据管理和分析等方面带来新的挑战.结合MapReduce的特点,从数据划分、数据筛选等方面对云环境下的大数据Top-K查询问题进行深入研究.实验结果表明,该方法具有良好的性能和扩展性.
【作者单位】： 中国人民大学信息学院;
【关键词】： Top-K查询 云计算 MapReduce
【基金】：国家自然科学基金(61379050,91224008) 国家高技术研究发展计划(863)(2013AA013204) 高等学校博士学科点专项科研基金(20130004130001)
【分类号】：TP311.13
【正文快照】： 随着大数据时代的到来,数据开始呈现爆炸式增长.不断积累的数据,对数据存储、分析等领域提出严峻的挑战.大数据的最终价值体现在数据的分析和利用上,而对数据处理时间的要求也越来越高.一般认为,数据价值会随时间的流逝而降低.因此,如何缩短数据处理时间、提高数据处理效率的
【共引文献】
中国期刊全文数据库 前10条
1 马环宇;姜伟;虎嵩林;;QSynth-TopK:一个支持Top K查询的质量敏感的自动服务组合系统[J];电子学报;2012年10期
2 黄震华;向阳;孙圣力;陈千;;超对等网络中的轮廓查询优化[J];电子学报;2013年08期
3 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期
4 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期
5 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期
6 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期
7 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期
8 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期
9 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期
10 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期
中国重要会议论文全文数据库 前7条
1 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年
2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年
3 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年
4 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年
5 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年
6 张恺玉;陈磊;;一种基于Hadoop架构的指挥系统大数据挖掘方法[A];第三届中国指挥控制大会论文集（上册）[C];2015年
7 朱健军;张彤;吴哲夫;;基于权值的Hadoop调度算法改进与实现[A];浙江省电子学会2014学术年会论文集[C];2014年
中国博士学位论文全文数据库 前10条
1 李昕;电子商务Web数据库不精确查询方法研究[D];辽宁工程技术大学;2010年
2 高明;不确定数据的世系管理和相似性查询[D];复旦大学;2011年
3 孟祥福;Web数据库柔性查询关键技术研究[D];东北大学;2010年
4 邓亚丹;面向共享Cache多核处理器的数据库查询执行优化技术研究[D];国防科学技术大学;2009年
5 王斌;面向关系数据库的关键字近似搜索技术研究[D];东北大学;2008年
6 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年
7 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年
8 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年
9 李朋;异构信息网络分析模型及其应用研究[D];重庆大学;2013年
10 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年
中国硕士学位论文全文数据库 前10条
1 闫实;关系数据库的关键字查询优化研究[D];山东大学;2011年
2 王佳宜;基于关系数据库的关键词模糊查询及结果集排序策略研究[D];中南大学;2008年
3 姬慎达;关系数据库中基于知识库的Top-N关键词查询[D];河北大学;2010年
4 周华慧;基于语义信息的面向数据库的Top-k关键字查询技术[D];东北大学;2008年
5 解朝良;融合文本属性和数值属性的语义Top-N查询处理[D];河北大学;2013年
6 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年
7 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年
8 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年
9 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年
10 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年
【相似文献】
中国期刊全文数据库 前10条
1 史新华;韦思惠;;期刊数据库索引与文章查询方法[J];广西物理;2012年01期
2 李占宣;;数据库中面向复杂应用的查询方法[J];电脑学习;2009年04期
3 本刊编辑部;;如何在网上查询我刊发表的论文[J];石油和化工设备;2010年09期
4 刘洁;;基于B*树聚簇索引的加密字符串查询方法[J];计算机系统应用;2013年06期
5 李亚力,贺宗春;基于字典的数据查询方法及技巧[J];计算机系统应用;1996年01期
6 吴鸿韬;朱怀忠;马建红;檀润华;;基于概念推荐的专利查询方法[J];计算机集成制造系统;2014年01期
7 宋俊洪;崔国华;;一种密文数据库的查询方法[J];计算机与数子工程;2003年06期
8 吴志军,黄震,郝利君,李军;激光粒子图像测速技术的灰度判别查询方法[J];应用激光;2001年02期
9 范葵红;水产信息在互联网上的查询方法及水产网站简介[J];河北渔业;2002年03期
10 黎展荣;杨如军;周新忠;;关系数据库管理空间数据的方式下数据查询方法的研究[J];武汉大学学报(信息科学版);2005年12期
中国重要会议论文全文数据库 前8条
1 王斌;李保栋;;电力营销决策支持系统中的查询方法[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年
2 黄邦宇;吴效明;周静;;岛礁部队健康管理多字段数据库的多表查询方法[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年
3 黄光安;肖璐;张亮;施伯乐;;一种基于文档编码的XML优化查询方法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年
4 廖顺和;乐嘉锦;;一种类K-means算法的高效近似查询方法研究[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年
5 翁伟;薛永生;段江娇;黄震华;;一种基于交叉链表的文档查询方法[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年
6 李兴东;姜守旭;张硕;;一种处理图数据库中超图集合的查询方法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
7 何震瀛;李建中;高宏;;Web数据仓库的异步迭代查询方法(英文)[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年
8 王敬贵;苏奋振;杨晓梅;杜云艳;仉天宇;;基于Ontology的空间知识查询方法研究[A];第十四届全国遥感技术学术交流会论文摘要集[C];2003年
中国重要报纸全文数据库 前4条
1 ;防伪查询方法[N];中国质量报;2003年
2 ;部分省市高考分数查询方法[N];中国教育报;2006年
3 金爱玲;甘肃：管局工商联手治理[N];人民邮电;2005年
4 本报记者 秦延安 通讯员 孙少军;许可建设项目管理信息系统投入使用[N];中国水利报;2008年
中国硕士学位论文全文数据库 前10条
1 吕倩楠;面向多维对象的反k近邻e笥行Р檠椒╗D];吉林大学;2012年
2 高世伟;三维空间中基于对象方位的方向关系查询方法研究[D];燕山大学;2010年
3 辛婷婷;K-匿名数据的查询方法研究[D];东华大学;2012年
4 彭川;反k最远邻查询方法的研究[D];燕山大学;2012年
5 任彩平;路网中连续路过近邻的查询方法[D];燕山大学;2010年
6 李艳群;网络教育资源的建设及查询方法研究[D];山东师范大学;2005年
7 李若愚;空间数据库中基于R-树的最近邻查询方法研究[D];哈尔滨工程大学;2010年
8 王璐;路网中互近邻查询和最大化双色反近邻查询方法研究[D];燕山大学;2010年
9 丁晓剑;对大信息量XML文档查询方法的研究[D];西安理工大学;2006年
10 闫东亮;基于语义的XML近似查询方法研究[D];东北大学;2010年
，本文编号：603998
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/603998.html
