倒排文件页式存储方法

发布时间：2017-09-13 01:00

  本文关键词：倒排文件页式存储方法

  更多相关文章： 倒排文件 按页存储 磁盘I/O层 堆文件管理器 记录

【摘要】：页是磁盘与内存进行数据交换的基本单位,它在操作系统、数据库管理系统以及倒排文件的数据组织中占据十分重要的地位.为减少倒排索引的磁盘I/O读写开销,提出了一种倒排文件按页存储的构建方法,实现了按页读写文件.该方法主要包括磁盘I/O层设计、页管理器设计以及堆文件管理器设计三个部分,实现了页大小可变的分块式数据文件管理,支持页内定长记录、变长记录的组装以及超长数据记录的跨页存储.经实验测试,结果表明该方法是行之有效的,可以将其应用到实际的垂直搜索引擎中.
【作者单位】： 新疆维吾尔自治区特种设备检验研究院;
【关键词】： 倒排文件 按页存储 磁盘I/O层 堆文件管理器 记录
【基金】：新疆维吾尔自治区科技攻关项目(200931103)
【分类号】：TP333
【正文快照】： 随着互联网技术的持续快速发展,人类社会进入了一个前所未有的信息化时代,那就是大数据时代.在大数据时代,人们掌握的数据在以爆炸性的速度增长,并且数据的形态也在发生着根本性的变化.据统计,目前互联网上80%以上的数据都是非结构化数据.因此,研究如何处理大规模非结构化数据

【参考文献】

中国期刊全文数据库 前10条

1 陈燕红;张太红;冯向萍;;小型数据库管理系统中页的设计与实现[J];电脑知识与技术;2010年19期

2 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期

3 王冬;左万利;赫枫龄;彭涛;张长利;;一种增量倒排索引结构的设计与实现[J];吉林大学学报(理学版);2007年06期

4 邓攀;刘功申;;一种高效的倒排索引存储结构[J];计算机工程与应用;2008年31期

5 刘小珠;彭智勇;陈旭;;高效的随机访问分块倒排文件自索引技术[J];计算机学报;2010年06期

6 刘锐;李盘林;李秉智;;一种适用于大容量Flash存储系统的管理方案[J];计算机应用研究;2006年02期

7 杨晓波;;分块组织技术的倒排索引方法研究[J];计算机工程与应用;2012年05期

8 马健;张太红;陈燕红;;中文搜索引擎分块倒排索引存储模式[J];计算机应用;2013年07期

9 张孝;周宁南;;非结构化数据存储管理研究[J];科研信息化技术与应用;2013年01期

10 吕晖;丁亚军;郑方;吴东;谢向辉;;支持跨步访问的嵌入式存储系统[J];计算机工程与科学;2014年02期

【共引文献】

中国期刊全文数据库 前10条

1 李文;洪亲;滕忠坚;石兆英;;一种由B+树实现的倒排索引[J];电脑知识与技术;2011年08期

2 董玉;管群;;云计算的数据计算与存储[J];电脑知识与技术;2012年16期

3 周斌;王新春;;一种海量数据库记录归档处理和查询方案[J];信息技术与标准化;2011年10期

4 乔亚男;齐勇;;查询语义图辅助的信息检索性能预测模型[J];电子学报;2011年S1期

5 吴建;;基于Lucene的校园网搜索引擎的设计与实现[J];湖南工程学院学报(自然科学版);2012年02期

6 陈燕;;面向Flash存储的页面置换算法综述[J];计算机光盘软件与应用;2012年13期

7 张雪源;贺前华;李艳雄;叶婉玲;;一种基于倒排索引的音频检索方法[J];电子与信息学报;2012年11期

8 方跃胜;董辉;姚宏亮;;多格式文档搜索引擎索引系统设计与实现[J];长江大学学报(自然科学版);2012年07期

9 孙德才;王晓霞;;一种基于Bigram二级哈希的中文索引结构[J];电子设计工程;2014年12期

10 陈来;;海量数据归档与恢复系统技术研究与实现[J];计算机光盘软件与应用;2014年15期

中国重要会议论文全文数据库 前1条

1 王芳;邵静;周海瑞;;无人侦察机任务载荷规划及关键技术研究[A];2013第一届中国指挥控制大会论文集[C];2013年

中国硕士学位论文全文数据库 前10条

1 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

2 倪娟;生产测井综合解释支持系统平台的设计与实现[D];西北大学;2011年

3 王洋;军队科技成果知识共享管理系统的设计与实现[D];吉林大学;2011年

4 江华;基于Native XML数据库的内容管理技术的研究[D];武汉理工大学;2011年

5 孙海东;面向医学教育视频的垂直检索的研究[D];第二军医大学;2011年

6 李春丰;面向动态文本的在线索引若干问题研究[D];广东工业大学;2011年

7 马燕;基于快速相似度的Web结构挖掘的研究[D];南京信息工程大学;2011年

8 薛煜阳;农业搜索引擎倒排索引缓冲机制研究[D];新疆农业大学;2011年

9 董长春;基于Hadoop的倒排索引技术的研究[D];辽宁大学;2011年

10 杨成宝;我国搜索引擎市场发展趋势与策略研究[D];山东大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 翟永,宋雪生;遥感数据成果的分级存储管理[J];北京测绘;2005年02期

2 彭波,李晓明;搜索引擎倒排文件的一种分块组织技术[J];电子学报;2005年02期

3 李凯,赫枫龄,左万利;PageRank-Pro——一种改进的网页排序算法[J];吉林大学学报(理学版);2003年02期

4 张长利,赫枫龄,左万利;一种基于后缀数组的无词典分词方法[J];吉林大学学报(理学版);2004年04期

5 赫枫龄;左万利;张雪松;;高性能网页索引器JU_Indexer的实现[J];吉林大学学报(理学版);2006年01期

6 白锋,程旭;基于主存访问相关解决等技术的高带宽主存控制器设计[J];计算机工程与应用;2003年26期

7 贾崇,陆玉昌,鲁明羽;一种支持高效检索的即时更新倒排索引方法[J];计算机工程与应用;2003年29期

8 张和生,张毅,胡东成;海量数据管理框架与方法研究[J];计算机工程与应用;2004年11期

9 邓攀;刘功申;;一种高效的倒排索引存储结构[J];计算机工程与应用;2008年31期

10 徐小刚,王俊杰,于玉;全文索引的研究[J];计算机工程;2002年02期

【相似文献】

中国期刊全文数据库 前10条

1 郑有志;覃征;邹玲;;关于进化算法记忆存储方法的探讨[J];计算机应用研究;2007年04期

2 苏建红;;关于信息存储方法的初探——几种证书存储方法的比较[J];科技信息;2009年17期

3 钱晶;陈路;;一种关于XML数据的存储方法研究[J];泰州职业技术学院学报;2009年01期

4 甄镭;一种简单的图像压缩存储方法[J];电脑学习;1994年06期

5 胡永旭;离子束刻书技术[J];世界科学;1996年02期

6 岳强;刘渝妍;;基于主-子表的挖掘模式存储方法研究[J];昆明大学学报;2006年04期

7 孙英晖;田少鹏;;基于多叉树结构的号码存储方法[J];指挥信息系统与技术;2011年01期

8 王红运;黄映辉;;语义Web粗糙本体:定义、模型和存储方法[J];计算机应用研究;2012年07期

9 郑师海，李德华，陈岩松;压缩正交矢量构成的关联记忆矩阵的存储方法[J];量子电子学;1996年05期

10 樊莉,陈林森;一种利用光变图像光刻系统的存储方法[J];激光与红外;2003年04期

中国重要会议论文全文数据库 前5条

1 罗道峰;孟小峰;安靖;;OrientStore:Native XML存储方法[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

2 李勋龙;郭瑞强;丁祥武;乐嘉锦;;基于RDF模式的存储方法研究[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

3 张新;孟小峰;朱金清;王伟;黄静;;OrientStore~+:一种支持高效更新的Native XML存储方法[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

4 章悦;高军;王腾蛟;杨冬青;唐世渭;;QBXS:一种基于查询的XML文档存储方法[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

5 贾均刚;张炜;高宏;;TIDC:一种基于属性划分的高频度关系数据压缩存储方法[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

中国重要报纸全文数据库 前2条

1 ;全球数据2011年可达1.8ZB[N];中国电脑教育报;2008年

2 周国卿;WPS2000使用经验（三）[N];大众科技报;2000年

中国博士学位论文全文数据库 前1条

1 李恩有;高性能计算机的存储方法研究[D];中国科学院研究生院（计算技术研究所）;1997年

，

本文编号：840575