基于分布式结构的数字图书馆文献集成检索方法研究

发布时间：2021-07-27 01:42

　　在开放的Hadoop环境下,提出一种基于分布式结构的数字图书馆文献集成检索方法。构建五层次的分布式索引结构,合并文本文献构成集合,将分布式索引结构均匀部署于网络拓扑的节点处;采用流形排序的方式调整文献检索顺序,对输入分布式节点的指令进行赋值,计算映射函数的关系并标记待检索文献未知向量,计算权值比重,确定节点数据与被检索目标文献的相近度,完成检索方法研究。测试结果表明,提出检索方法的索引构建效率、更新效率均优于传统集中式检索方法,具有更好的文献检索效果。 

【文章来源】：电子设计工程. 2020,28(12)

【文章页数】：5 页

【图文】：

图1 分布式索引结构

基于层次和增量的索引方式，支持数字图书馆不同数据库之间的新旧索引合并，在经典索引排序基础上提高文献集成检索的扩展性和可靠性。由于采用分布式结构，数据的检索过程由多台服务器同步完成，不再仅单独依赖于中心系统。MapReduce计算框架与HDFS分布式存储系统配合使用，在图书馆数据库中能够一次性检索混合海量文档。将需要检索的文献资料文档集合先上传到系统中，再利用MapReduce建立临时索引资料，最终生成一种分布式的索引文件。MapReduce特有的分布式结构可将待查询文献分成若干个小块，可提高文献查询和读写的效率。每一个块文件对应小文件的内容，最后在对文档聚合。目标文献文档的合并过程，如图2所示。将经过合并和集成化处理后的文献上传到HDFS文件系统中的指定位置，由于图书馆文献采用分块式的方式存储，检索系统中不同节点的服务器可同时工作，使网络传输量得到明显的改善。执行MapReduce计算框架中的Map功能，为下一步分布式检索做准备，MapReduce的分布式数据处理过程，如图3所示。

将经过合并和集成化处理后的文献上传到HDFS文件系统中的指定位置，由于图书馆文献采用分块式的方式存储，检索系统中不同节点的服务器可同时工作，使网络传输量得到明显的改善。执行MapReduce计算框架中的Map功能，为下一步分布式检索做准备，MapReduce的分布式数据处理过程，如图3所示。查询检索指令输入数字化系统后，进入不同的查询块，MapReduce计算框架具有分块功能，再按照一定的Map函数规则形成中间数据，最后进行Reduce处理输出查询结果。分布式索引结构在数字图书馆集成检索中的优势在于，不再依赖于传统的集中式文献识别与处理模式，实现文献知识检索的并行化。借助Hadoop框架的结构优势，将分布式索引结构均匀部署于每一个计算机网络节点处，建立局部索引，通过网络服务器连接将局部索引后汇总到主索引。由于分布式结构的存在，无论是在计算中心还是在其他计算机节点，只要经过授权，用户可以随时查询文献，不再受到查询时间和空间的限制。

【参考文献】：
期刊论文
[1]图书馆书目数据自动采集模型构建[J]. 时冬梅,张艺婕.  自动化与仪器仪表. 2019(08)
[2]文献元数据集成管理研究[J]. 丁遒劲,曾建勋.  情报学报. 2019(06)
[3]面向非相关文献的知识关联发现系统设计与实现[J]. 刘爱琴,安婷.  国家图书馆学刊. 2019(03)
[4]一种基于向量索引的内存OLAP星型连接加速新技术[J]. 张延松,张宇,王珊.  计算机学报. 2019(08)
[5]高校图书馆数字学术服务空间的构建与思考[J]. 黄晓军.  图书与情报. 2019(01)
[6]面向高效加密云数据排序搜索的类别分组索引方法[J]. 刘良桂,孙辉,贾会玲,张宇.  电子学报. 2019(02)
[7]基于元数据管理的数字资源保障评估研究[J]. 许天才,潘雨亭,杨新涯,罗丽,孙锐.  图书情报工作. 2019(02)
[8]基于语义的数字图书馆检索模型研究[J]. 马佳立.  电子设计工程. 2018(22)
[9]图书馆藏书光学特征的高效检索技术研究[J]. 刘敏.  激光杂志. 2018(06)
[10]结合HBase的散列概要森林索引方案[J]. 冯诗淳,曹斌,晁德文,林博,尹建伟.  小型微型计算机系统. 2018(01)



本文编号：3304807