中国民航报社信息数据采集分析中心的设计与实现

发布时间：2017-09-05 03:51

  本文关键词：中国民航报社信息数据采集分析中心的设计与实现

  更多相关文章： 信息数据采集分析中心 文本分类 Web信息采集技术 LibSVM

【摘要】：随着互联网的迅速发展和普及,数据信息内容以爆炸似的速度在互联网中产生,并借助无处不在的网络迅速传播。而民航业作为信息化较早的行业,每天也会产生大量的行业数据,它们涉及航空公司、机场、政府机关、旅客等各个民航相关方,如果能够采集整理相关信息使它们为民航工作服务,将会带来不小的价值,并且在一定程度上提升报社这类传统媒体适应新媒体快速发展的能力,加快媒体融合,所以建立信息数据采集分析中心是十分必要和迫切的。首先,本文主要研究了Web信息采集技术和文本分类技术并且基于这些技术完成了信息数据采集分析中心系统的设计与开发。阐述了Web信息采集技术及文本分类技术的发展现状,并较详细的描述了文本分类中的关键技术,然后介绍了建立该系统所需要的具体技术,包括网络爬虫技术Heritrix、基于中科院分词系统ICTCLAS2015的中文分词技术以及LibSVM和Echarts技术。其次,本课题依据以上这些技术为基础对信息数据采集分析中心进行需求分析,并介绍中国民航报社信息数据采集分析中心的设计目标和功能需求,并以此为依据设计了系统的整体架构和工作流程,在此基础上设计并实现了信息数据中心系统。系统包括采集分析中心、前端表现平台两个部分,其中采集分析中心采集分析中心运行信息数据抓取程序,实时对目标信息进行采集,并对采集到的信息进行分类,最终对数据进行入库操作；前端表现平台采用传统的B/S结构,为系统使用者提供方便的数据查询和展现,提供多种形式的数据展现方式。最后,本文对民航信息数据中心的使用环境进行了表述,展示了系统的使用效果。并针对信息数据中心的实际使用效果进行了分析。本文设计并实现的信息数据采集分析中心,较之常见的舆情系统还整合了许多民航基础数据和生产数据。中国民航报社信息数据采集分析中心将首先应用在报社日常的生产活动中,为媒体从业人员提供及时完备的信息,提高报社各媒体的产能和效率。目前,该系统正处于测试阶段。
【关键词】：信息数据采集分析中心 文本分类 Web信息采集技术 LibSVM
【学位授予单位】：中国科学院大学(工程管理与信息技术学院)
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP274.2
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-16
• 1.1 研究背景与意义10-11
• 1.2 国内外研究与应用现状11-14
• 1.3 本文研究内容与组织结构14-16
• 第二章 信息数据采集分析中心相关技术和基础16-30
• 2.1 Web信息采集技术16-17
• 2.2 文本分类技术17-26
• 2.2.1 文本预处理技术18-19
• 2.2.2 文本表示19-20
• 2.2.3 文本特征选择20-21
• 2.2.4 文本分类算法21-23
• 2.2.5 LibSVM23-26
• 2.3 Echarts技术26-28
• 2.4 本章小结28-30
• 第三章 信息数据采集分析中心需求分析与整体设计30-38
• 3.1 信息数据采集分析中心的需求分析30-31
• 3.1.1 信息数据采集分析中心的设计目标30-31
• 3.1.2 信息数据采集分析中心的功能需求31
• 3.2 信息数据采集分析中心的整体设计31-36
• 3.2.1 信息数据采集分析中心的整体架构31-34
• 3.2.2 信息数据采集分析中心的工作流程34-35
• 3.2.3 软硬件环境35-36
• 3.3 本章小结36-38
• 第四章 信息数据采集分析中心详细设计与实现38-78
• 4.1 采集分析中心的详细设计与实现38-59
• 4.1.1 信息采集模块38-49
• 4.1.2 信息处理模块49-56
• 4.1.3 信息存储模块56-59
• 4.2 前端表现平台的详细设计与实现59-66
• 4.2.1 首页登录模块59-61
• 4.2.2 信息检索模块61-62
• 4.2.3 信息展示模块62-66
• 4.3 实现界面展示66-74
• 4.4 效果分析74-76
• 4.5 本章小结76-78
• 第五章 结论与展望78-80
• 5.1 结论78
• 5.2 展望78-80
• 参考文献80-84
• 致谢84-86
• 个人简历、在学期间发表的论文与研究成果86

【相似文献】

中国期刊全文数据库 前10条

1 ;《数据采集与处理》已成立第五届编委会[J];数据采集与处理;2000年03期

2 ;数据采集与处理2005年(第20卷1一4期)总目次[J];数据采集与处理;2005年04期

3 ;降低数据采集的成本[J];电子测量技术;2005年01期

4 谷波;;数据采集积极性不高[J];施工企业管理;2012年04期

5 ;致谢[J];数据采集与处理;2012年06期

6 ;数据采集与处理2012年(第27卷1～6期)总目次[J];数据采集与处理;2012年06期

7 王丽;;通信计费数据采集网络的模式探讨[J];科技传播;2013年09期

8 ;《数据采集与处理》1987年总目录[J];数据采集与处理;1987年03期

9 ;《数据采集与处理》1988年总目录[J];数据采集与处理;1988年03期

10 ;1995年《中国电子科技文摘》收录1994年《数据采集与处理》文摘情况[J];数据采集与处理;1996年02期

中国重要会议论文全文数据库 前10条

1 陈福;周树杰;林小竹;杨跃翔;;应用嵌入式系统进行数据采集的研究[A];2004全国测控、计量与仪器仪表学术年会论文集（下册）[C];2004年

2 王艳萍;李道武;章志明;李可;陈亚微;高俊雄;单保慈;魏龙;;用于小动物PET的数据采集和符合系统[A];第九届全国正电子谱学会议论文集[C];2005年

3 陈青;;侦听模式在数据采集中的应用[A];中国计量协会冶金分会2007年会论文集[C];2007年

4 蔡尹楚;王立校;;多种新型数据采集方式在化工企业能源数据采集中的组合应用[A];中国计量协会冶金分会2014年会暨能源计量与绿色冶金论坛论文集[C];2014年

5 周威;陈五一;;切削数据采集研究[A];大型飞机关键技术高层论坛暨中国航空学会2007年学术年会论文集[C];2007年

6 王磊;马婉丽;姚成虎;;U盘功能在数据采集仪器中的应用和设计[A];第二届全国信息获取与处理学术会议论文集[C];2004年

7 王泽保;;智能化数据采集记录仪[A];1996年中国智能自动化学术会议论文集（下册）[C];1996年

8 迟晓珠;王劲松;;三维加速度数据采集及通讯系统[A];2000全国力学量传感器及测试、计量学术交流会论文集[C];2000年

9 孙嘉兴;刘艳侠;;数据采集中微弱信号处理[A];中国仪器仪表学会第三届青年学术会议论文集（下）[C];2001年

10 华泽玺;王长林;肖鹏;;改善传统通信模式提高数据采集的实时性[A];四川省通信学会2004年通信技术论文集(一)[C];2004年

中国重要报纸全文数据库 前10条

1 浙江省杭州市桐庐县烟草专卖局（分公司） 张韬;客户经理数据采集“小贴士”[N];东方烟草报;2011年

2 佟伟;做好数据采集 强化税收征管[N];长白山日报;2005年

3 葛学忠;我州旅游数据采集任务如期完成[N];民族日报;2008年

4 记者 温跃邋朱锋 通讯员 姜春;人行威海中心支行创新贷款数据采集流程见实效[N];金融时报;2008年

5 刘亚迅　特约记者 方立华;数据采集表评判训练短长[N];解放军报;2010年

6 胡涛;源头数据采集单轨运行[N];中国石化报;2010年

7 王显锋;兰西国税局力争数据采集“开门红”[N];黑龙江经济报;2005年

8 孙红伟 特约记者 程永亮;34个数据采集组嵌入演练场[N];解放军报;2012年

9 张黎明 马敬辉;让胡路国税局做好动态数据采集准备工作[N];黑龙江经济报;2005年

10 张黎明 马敬辉;让胡路国税局动态数据采集进展顺利[N];黑龙江经济报;2005年

中国博士学位论文全文数据库 前6条

1 邵苏杰;面向智能配用电网数据懫集的流量调度机制[D];北京邮电大学;2015年

2 马英杰;基于3GS的核勘查数据采集及处理系统研究[D];成都理工大学;2010年

3 齐林;面向可追溯的物联网数据采集与建模方法研究[D];中国农业大学;2014年

4 刘传波;列车纵向冲动的机理研究及检测仪器的开发[D];武汉理工大学;2009年

5 牛田野;特殊等离子体环境物理信息获取与处理的研究[D];中国科学技术大学;2008年

6 李忠龙;基于现有传感器的桥梁无线检测技术的研究[D];哈尔滨工业大学;2008年

中国硕士学位论文全文数据库 前10条

1 胡延凯;公共建筑能耗数据懫集与信息处理一体化集成技术研究[D];山东建筑大学;2015年

2 张丽萍;雷电三维电场数据采集与分析[D];南京信息工程大学;2015年

3 张元;物流运输跟踪数据采集与可视化监控的研究与实现[D];西南交通大学;2015年

4 吴涛;基于宽带卫星的海洋海事信息数据懫集装置研发[D];集美大学;2015年

5 梁佩;实时数据采集系统方案设计与实现[D];西南交通大学;2015年

6 李晓红;基于SOA架构的中职教育数据采集与KPI决策支持系统的构建[D];复旦大学;2013年

7 徐硕硕;基于LabVIEW的燃气能源瞬态数据采集与处理[D];北华航天工业学院;2015年

8 隋玉涛;惠民县民生信息数据采集与分析系统的设计与实现[D];山东大学;2015年

9 李彬雅;基于智能手机的泊车位判寻系统设计[D];福建师范大学;2015年

10 王政;4通道数据采集中频接收机的设计和实现[D];哈尔滨工业大学;2015年

，

本文编号：795660