基于分布式爬虫的云健康资讯平台设计与实现

发布时间：2017-09-13 08:49

  本文关键词：基于分布式爬虫的云健康资讯平台设计与实现

  更多相关文章： 云健康 分布式爬虫 去中心化 Kademlia 协议

【摘要】：借助移动互联网的迅速普及与云计算技术的迅猛发展,云健康理念于2009年被提出。它指的是在医疗专家、机构、厂商的协助下,以物联网和移动互联网为载体,利用云计算、云存储、云服务等手段,为医疗患者和健康需求用户提供健康管理和疾病诊疗等服务和设备上的支持。本文依托已有的中科慧康云健康平台,通过分布式爬虫采集互联网上的健康资讯,给该平台的2万多用户提供最新的健康资讯信息服务。本文实现的基于分布式爬虫的健康资讯平台主要分为两个部分,一部分是分布式爬虫采集信息,通过调研主要的分布式爬虫的架构,借鉴对等网络(Peer 2 Peer)的思想,改进Kademlia协议,最终设计并实现了一种去中心化的全分布式架构的爬虫;另一部分是将分布式爬虫采集到的信息通过提供统一的API接口的方式实现在Web端和移动端的健康资讯的浏览。经过实际实验检验,本文提出的分布式爬虫架构能够有效的避免以往的主从式架构局部负载高、扩展相对困难、广域网成本高等问题,具备较好的扩展能力和较高的容错能力,能够为别的分布式系统提供新的思路。
【关键词】：云健康 分布式爬虫 去中心化 Kademlia 协议
【学位授予单位】：中国科学院研究生院(沈阳计算技术研究所)
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3;TP393.09
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 引言9-11
• 第一章 绪论11-15
• 1.1 本文研究内容11-13
• 1.1.1 分布式网络爬虫11-12
• 1.1.2 个性化推荐12-13
• 1.2 本文组织结构13-14
• 1.3 本章小结14-15
• 第二章 分布式爬虫架构设计与实现15-27
• 2.1 Kademlia协议16-19
• 2.1.1 距离度量16
• 2.1.2 K桶16-17
• 2.1.3 RPC操作17
• 2.1.4 路由表查询17-19
• 2.2 分布式爬虫策略19-22
• 2.2.1 系统结构19
• 2.2.2 协议改进19-20
• 2.2.3 任务划分与处理策略20-21
• 2.2.4 扩展与容灾策略21-22
• 2.3 实验仿真与评估22-26
• 2.3.1 单机实验23-24
• 2.3.2 集群实验24-26
• 2.4 本章小结26-27
• 第三章 个性化推荐模块设计与实现27-35
• 3.1 文本特征提取28-31
• 3.1.1 TF-IDF算法28-29
• 3.1.2 TextRank算法29-30
• 3.1.3 关键词提取30-31
• 3.2 用户特征更新31-32
• 3.3 推荐内容生成32-34
• 3.4 本章小结34-35
• 第四章 健康资讯平台设计与实现35-52
• 4.1 总体设计35-36
• 4.2 服务端设计36-45
• 4.2.1 搜索模块设计36-40
• 4.2.2 用户模块设计40-42
• 4.2.3 数据库设计42-45
• 4.3 Web端设计45-48
• 4.3.1 MVC模式45-47
• 4.3.2 图片延迟加载47
• 4.3.3 异步执行47-48
• 4.4 移动端设计48-51
• 4.4.1 API设计48-50
• 4.4.2 流量优化50-51
• 4.5 本章小结51-52
• 第五章 系统部署与测试52-61
• 5.1 系统部署52-54
• 5.2 系统测试54-60
• 5.2.1 功能测试54-57
• 5.2.2 性能测试57-60
• 5.3 本章小结60-61
• 结束语61-63
• 参考文献63-66
• 发表文章66-67
• 致谢67

【相似文献】

中国期刊全文数据库 前10条

1 戴宙辉;;武铁资讯平台项目企划[J];中国城市经济;2011年23期

2 陶静;;区域资讯平台的搭建及功能创新——以深圳坪山新区资讯频道为例[J];视听;2014年05期

3 蔡丽玲;;网聚资源搭建信息资讯平台 广纳贤言诚信服务创业企业 中国1018创业商机网倾力打造创业者家园[J];电信快报;2009年05期

4 刘涛;;如何打造功能齐全的多媒体资讯平台[J];中国编辑;2009年06期

5 姚德春;刘诚;;泰州本地资讯平台简介[J];中国数字电视;2012年Z1期

6 王亮;李晶;;基于我院航海专业的信息整合资讯平台的探究与研发[J];电子技术与软件工程;2013年08期

7 曾江;非常时期,我们与您风雨同舟[J];通用机械;2003年05期

8 ;Premier Farnell推出首家中国RoHS资讯平台[J];世界电子元器件;2007年02期

9 张洁;;机电在线:“危”风中的特立独行者[J];电子商务世界;2008年12期

10 ;[J];;年期

中国重要报纸全文数据库 前10条

1 本报记者 王荣;规模做减法 酷6转型资讯平台[N];中国证券报;2011年

2 记者 关媛媛;重庆最大创业资讯平台建成[N];重庆日报;2009年

3 孔留洪　程快生;黎川“农业资讯平台”成农民“贴身保姆”[N];抚州日报;2010年

4 港信;香港积极筹建物流业电子资讯平台[N];国际经贸消息;2002年

5 俞靓;断定中国股市有泡沫为时尚早[N];中国证券报;2007年

6 记者 师兴;北京搭建高端旅游资讯平台[N];北京商报;2012年

7 记者 潘荣进　通讯员 乔小军;姜堰建立工业产品资讯平台[N];泰州日报;2010年

8 文武;助购网牵手商家打造购物资讯平台[N];中国商报;2007年

9 福建记者站 史蔓蓉邋实习生 吴晓炜;厦门旅游资讯平台“三合一”[N];中国旅游报;2007年

10 泽华;手机变成交易平台[N];国际商报;2003年

中国硕士学位论文全文数据库 前2条

1 向中希;基于分布式爬虫的云健康资讯平台设计与实现[D];中国科学院研究生院(沈阳计算技术研究所);2016年

2 张敬;OTT TV资讯平台的本地化构建[D];吉林大学;2015年

，

本文编号：842701