多领域跨媒体科技大数据高效检索查询研究

发布时间：2024-05-16 00:10

　　经过学者和科研人员的不懈努力以及信息化技术的不断发展和普及,互联网上迅速积累了海量的科技大数据。不同于互联网上爆发式增长的新闻、社交等信息,科技大数据有其独特的一面。科技数据主要以论文和学者信息等具有学术风格的资源为主体构成,其数量庞大但数据的冗余信息少,具有专业性强但不同领域间差异性大的特点。在对科技资源进行检索查询时,一方面由于科技大数据的独特数据特性导致了传统的检索算法难以满足学者用户的需求。另一方面,科技大数据的多模态以及异构性对科技资源的获取与处理提出了更高的要求。基于这样的背景,针对多领域跨媒体科技大数据的高效检索查询研究具有非常重要的意义。本文完成的主要工作如下:(1)提出了多模态科技大数据深度特征提取与表示方法。针对科技大数据中的文本资源,提出了基于密集卷积注意力的特征表示(FR-DCA)算法,利用密集卷积结构结合双向LSTM循环神经网络进行文本特征的深度提取;针对科技大数据中的图像资源,从图像输入尺寸的不一致问题出发,提出了利用含有空间金字塔池化的卷积神经网络进行图像特征深度提取。实验结果表明,所提出的两种科技资源特征表示方法在精确率、召回率和F1值等指标上普遍优于对...

【文章页数】：100 页

【学位级别】：硕士

【部分图文】：

图３－１多领域跨媒体科技大数据的获取与特征表示总体架构??３．１多领域跨媒体科技大数据的获取与处理??科技资源不同于社交、新闻等数据，科技资源由于天然具有的专业性，因此??数据的分布呈现比较强的集中性

?第三章多领域跨媒体科技大数据的获取与特征表示???第三章多领域跨媒体科技大数据的获取与特征表示??本章给出了多领域跨媒体科技大数据的获取与特征表示方法。针对海量的多??模态科技资源，设计出一种基于发布－订阅模式的科技大数据采集、处理与持久??化体系。针对科技大数据中文本资源在不....

图３－２多领域跨媒体科技资源实时采集系统架构??釆集系统主要包含以下几个组件：采集引擎、爬虫、调度器、下载器、管道、??中间件

北京邮电大学工学硕士学位论文??的跨学科特点，对于不同的数据在后续的研究中需要做不同的预处理和持久化，??因此需要一种灵活的数据处理体系。本节设计了一种针对科技大数据的采集、处??理与存储流水线式处理体系。??３．１．１科技大数据的实时采集??本文所用到的数据主要取自ＡＭｉｎｅｒ....

图３－３?—般数据处理架构??为了解决上述问题，引入了发布－订阅模式

????Ｉ??—采集方式１?—＞处理逻辑１?—＾?存储方式１??ｄ?Ｌ??Ｌ＿???Ｌ?一丨??Ｉ??［＂业务功能２?１??Ｉ「＊；?ｍ????????Ｊ??—采集方式２?—处理逻辑２?＋?存储方式２?｜??１＿１：二．．－二二????Ｌ?士二?Ｌ????Ｉ??Ｊ＂业务功能ｎ?｜....

图３－４基于发布－订阅模式的跨媒体科技大数据处理架构图??３．２科技大数据文本资源特征提取与表示??

?数据源１?处理方式????ｉ??ｒｃｈ???Ｌｊ?｜?数据访问接口＾＾??数据源２??？数据采集层一？数据处理层—？麵雜Ｍ?＾?？＾ＭｙｓｑＴ??数据源ｎ?｜?进应??Ｉ?，?＇?｜??｜????１?｜处理方式和订阅者关系维护１??｜处理方式１??处理方式ｎ?｜?｜?｜??｜?....

本文编号：3974415