内容汇聚子系统中桌面管理软件的设计与实现
发布时间：2020-04-05 05:38
【摘要】：伴随着“互联网+”理念的推行,广播产业纷纷由单一媒体向综合媒体转型。中国广播云平台提供资源共享与定制化服务。内容汇聚子系统旨在为中国广播云平台提供服务,抓取多个广播网站的媒体内容,实现内容的汇聚与处理。内容汇聚子系统传统实现方式是通过主题爬虫实现的,其存在着代码复用性不高和对非技术人员不友好等缺点。为了解决以上问题,本文提出了在内容汇聚子系统中使用的桌面管理软件,主要来完成爬虫工程的管理功能和爬虫的爬取规则描述文件的编辑功能。爬取规则描述文件中保存的是爬虫的待抓取URL、目标网页和数据的分析和URL搜索策略等。用户可以根据不同的需求来编辑爬取规则描述文件,来决定爬虫的运行逻辑。为了实现以上的功能,本文首先采用MVC设计模式实现了软件架构的设计,并设计了通用性的Model以及提出了适合本文的基于双数组字典树Trie的信息检索算法,进而在此基础上进行开发,实现内容汇聚子系统的桌面管理软件。内容汇聚子系统的桌面管理软件主要包括两大模块:分别是爬虫工程的管理模块、爬取规则描述文件模块。爬虫工程的管理模块主要包括最近工程、新建、删除、工程库、上传、下载等功能。爬取规则描述文件模块又分为工程结构模块、元素操作模块、组件模块、属性模块这四个子模块。工程结构模块用于显示爬虫工程的结构;元素操作模块的功能是通过不同组件的拖放后,生成一个与爬取规则描述文件对应的双数组字典树,然后再将用户生成的双数组字典树转化为爬取规则描述文件;组件模块将完成各种图形组件的设计与实现;属性模块用于配置和显示各种图形组件的属性。软件采取跨平台C++图形用户界面应用程序开发架构Qt进行开发。
【图文】：
第四章关键问题研究逡逑本文旨在首先完成软件架构的设计与实现，进而在此基础上完成内容汇聚子逡逑系统的桌面管理软件的设计与实现。本章将通过桌面管理软件架构设计和数据检逡逑索算法两大方面来进行关键问题的研究。逡逑４．１研究背景逡逑伴随着“互联网＋”理念的推行，国内很多的传统领域开始走向互联网化，广逡逑播产业也纷纷由单一媒体向综合媒体转型，中国广播云平台面向全国广播电台、逡逑行业机构、特定场景下的团体或个体用户提供资源共享与定制化服务。内容汇聚逡逑子系统是中国广播云平台下的一个子系统，旨在为中国广播云平台提供服务，抓逡逑取多个广播网站的媒体内容，，包括视频、音频、图文和节目元数据等，实现内容逡逑的汇聚与处理。逡逑内容汇聚子系统总体架构图如４－１所示：逡逑
ｗ逡逑ｍ逡逑图４－３爬虫执行策略组件的Ｌｉｓｔ邋Ｍｏｄｅ丨结构图逡逑如上图所示，ｕｒｌ下只有一个子节点，也就是每个ｕｒｌ下只能采取一种爬虫逡逑执行策略。逡逑对于爬取资源类型组件，由于爬虫爬取的资源可能有很多种，比如视频、音逡逑频和图片等，并且每种资源会存在多种格式，比如视频资源有ＡＶＩ和ＭＰ４等格逡逑式。简单的一种情况是我们在每种资源类型下选择一种资源格式，这样资源类型逡逑和资源格式共同形成了类似于表格的结构。因此，爬取资源类型组件采取了邋Ｔａｂｌｅ逡逑Ｍｏｄｅｌ邋（表格结构）来存储数据，其具体结构图如图４－５所示：逡逑c燮狄幔咤澹咂义弦鲥澹停校冲澹校危清义贤迹矗磁廊∽试蠢嘈妥榧模裕幔猓欤邋澹停铮洌澹旖峁雇煎义先缤妓荆砀竦牡谝恍惺桥廊∽试吹睦嘈停诙惺窍嘤ψ试蠢嘈偷木咛邋义细袷健ｅ义衔耸棺烂婀芾砣砑芄桓咝У厥视Γ裕颍澹邋澹停铮洌澹臁ⅲ蹋椋螅翦澹停铮洌澹旌停裕幔猓欤邋义希停铮洌澹炖嘈偷氖
本文编号：2614622
【图文】：
第四章关键问题研究逡逑本文旨在首先完成软件架构的设计与实现，进而在此基础上完成内容汇聚子逡逑系统的桌面管理软件的设计与实现。本章将通过桌面管理软件架构设计和数据检逡逑索算法两大方面来进行关键问题的研究。逡逑４．１研究背景逡逑伴随着“互联网＋”理念的推行，国内很多的传统领域开始走向互联网化，广逡逑播产业也纷纷由单一媒体向综合媒体转型，中国广播云平台面向全国广播电台、逡逑行业机构、特定场景下的团体或个体用户提供资源共享与定制化服务。内容汇聚逡逑子系统是中国广播云平台下的一个子系统，旨在为中国广播云平台提供服务，抓逡逑取多个广播网站的媒体内容，，包括视频、音频、图文和节目元数据等，实现内容逡逑的汇聚与处理。逡逑内容汇聚子系统总体架构图如４－１所示：逡逑
ｗ逡逑ｍ逡逑图４－３爬虫执行策略组件的Ｌｉｓｔ邋Ｍｏｄｅ丨结构图逡逑如上图所示，ｕｒｌ下只有一个子节点，也就是每个ｕｒｌ下只能采取一种爬虫逡逑执行策略。逡逑对于爬取资源类型组件，由于爬虫爬取的资源可能有很多种，比如视频、音逡逑频和图片等，并且每种资源会存在多种格式，比如视频资源有ＡＶＩ和ＭＰ４等格逡逑式。简单的一种情况是我们在每种资源类型下选择一种资源格式，这样资源类型逡逑和资源格式共同形成了类似于表格的结构。因此，爬取资源类型组件采取了邋Ｔａｂｌｅ逡逑Ｍｏｄｅｌ邋（表格结构）来存储数据，其具体结构图如图４－５所示：逡逑c燮狄幔咤澹咂义弦鲥澹停校冲澹校危清义贤迹矗磁廊∽试蠢嘈妥榧模裕幔猓欤邋澹停铮洌澹旖峁雇煎义先缤妓荆砀竦牡谝恍惺桥廊∽试吹睦嘈停诙惺窍嘤ψ试蠢嘈偷木咛邋义细袷健ｅ义衔耸棺烂婀芾砣砑芄桓咝У厥视Γ裕颍澹邋澹停铮洌澹臁ⅲ蹋椋螅翦澹停铮洌澹旌停裕幔猓欤邋义希停铮洌澹炖嘈偷氖
本文编号：2614622
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2614622.html
