基于Spark的产后访视系统的设计与实现

发布时间：2020-11-13 00:35

　　 大数据技术衍生出的应用为我们的生活不断地提供着便利,但其在产后访视方面的应用并不活跃。产后访视指为产妇和新生儿进行健康检查,指导产妇及其家人正确护理新生儿的活动,旨在提高产妇的情绪管理和自我控制能力。但我国产后访视工作还存在不足之处:访视流程较为繁复、没有统一的标准、用户群体较为单一;对于不断增长的访视数据,缺乏灵活的定制分析和挖掘。针对目前产后访视工作存在的不足,本论文致力于规范产后访视的信息采集流程,搭建起一个大数据分析平台和任务调度平台,更好的指导访视工作的开展。系统借助JakartaEE体系架构实现了对于访视信息的采集;大数据分析平台中的Hadoop负责数据的存储;Spark计算引擎负责数据的处理与分析。用户可在任务调度平台中定制离线或实时的统计分析任务,远程触发执行Spark的业务分析代码。其中采用Spark技术栈中的SparkStreaming负责实时流的计算,SparkCore与SparkSQL协作完成对于离线访视数据的统计分析,对于访视数据的挖掘采用SparkMLlib进行。分析和计算结果存储于关系型数据库或Redis中,最后通过可视化控件对其进行渲染和多维度展现,为统计分析人员带来了便利。论文采用决策树分类模型对访视数据集进行训练,得到产妇月子期间心理状态的预测树,极大方便了访视计划的制定。实现了分布式集群中NameNode节点的失效备援,降低了集群崩溃的风险;研究了容易影响系统性能的配置项、算子、数据倾斜等问题并给出优化措施。论文对访视信息采集以及Spark任务分析系统的功能进行了白盒测试和黑盒测试,通过压力测试对Spark统计分析任务的并发性能进行了检验;在不同分类模型下对心里状态数据集进行了训练,得出了最优的产妇月子期间心理状态预测模型,并对准确率进行了对比分析,截至目前,产后访视信息采集子系统已服务于成都市天府新区,为访视工作提供了很大的便利。业务数据的传输与处理流程也为后续访视系统与推荐系统的结合提供了理论基础和技术可能,对产后访视的后续发展有着深远意义。
【学位单位】：电子科技大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP311.13;TH77
【部分图文】：

Broker 指代组成 Kafka 集群中的服务器节点；Producer 是消息的发布者，它能发布消息到 Topics 进程上[20]；Consumer：消息的接收者，它是可以从 Topics 接消息的进程；Topic 指的是消息队列，一个 Topic 是被分割成多个 Partition 并分式的存储在不同的 Broker 上的。Kafka 主要采用 Zookeeper 来协助其管理集群,ZooKeeper 可以管理和协调afka 集群的 Brokers，某个 Broker 的删除或者加入都是由 Zookeeper 来协助通知他节点的。此外，Zookeeper 还可以保存生产者和消费者的状态信息。对于产后访视的业务数据的收集和移动依赖于 Flume。它是一个分布式、可靠高可用的服务，可以有效地收集、聚合和移动大量的日志数据[21]。它主要由三个分构成，分别是 Source 源、Sink 接收端、Channel 通道。在 Flume 中，外部输入为 Source 源，系统的输出成为 Sink 接收端，Channel 通道把 source 和 Sink 链接一起，以上这些运行在 Flume 的一个称为 Agent 代理的守护进程中。Event 事件 Flume 最基本的传输单元，包括零个或多个 Event 头和一个 Event 体系，其从服器产生，经由 Source，Channel，Sink，最终保存到如 HDFS、Avro、HBase 这样文件系统中。Flume 架构图如图 2-7 所示。

图 4-2 ZooKeeper 协助实现 NameNode 主备的时序图如表 4-2 所示为 HA 失效备援部署，所有节点需要事先配置好 jdk。当为 Active的 NameNode 节点宕机或者超时响应时候，StandBy 节点由于 fencing 机制会发送指令杀死原先 Active 的 NameNode 进程，然后由 ZooKeeper 失效备援控制将StandBy 节点的状态变为 Active。在最短的故障时间内为系统提供正常的服务。若某 DataNode 节点宕机，会发送邮件提醒管理员，后续需要重启 DataNode 或新增DataNode 节点。6.抢夺锁7.创建新的"/NameNode"8.启动备用节点9.执行脚本10.以StandBy方式启动

（a） （b）图 4-4 产妇与新生儿访视效果图。（a）访视记录维护图；（b）访视信息采集图.3.2 Spark 作业管理访视数据的统计分析指的是管理员根据产妇与新生儿的访视记录以及普通的点击流进行的一系列统计分析活动。任务统计分析子系统不仅需要搭建一备的大数据分析平台供各个 Spark 作业执行，还需要有一个完善的任务申请、、查看任务与分析结果模块来执行 Spark-Submit 命令触发执行具体业务逻辑。关于任务申请、触发执行、查看与分析结果模块设计到的类，我们用采集系务处理类图对 AnalysisController、IAnalysisService、AnalysisServiceImplaskInfo 、AnalysisMapper、RequestResult<T>类的属性、方法以及类之间的关系了说明。AnalysisController 类负责与任务有关的 URL 请求与分发处理，其中定义nalysisService 任务分析处理的接口对象 analysisService；定义了全局任务
【相似文献】

相关期刊论文 前10条

1 邹青;;国外产后访视工作的研究进展[J];中华护理杂志;2017年02期

2 玉荣;李宪平;;社区护士产后访视工作体会[J];中国冶金工业医学杂志;2017年02期

3 李桂贤;;社区产后访视护理服务对新生儿黄疸的干预作用[J];中国当代医药;2016年10期

4 何平;;社区属地化产后访视新模式实施效果评估[J];上海医药;2016年14期

5 果丽娜;高爽;张良芬;;海淀街道社区329例产妇产后访视次数需求的影响因素分析[J];中国妇幼健康研究;2016年08期

6 丁艺;;社区孕产妇产后访视管理情况分析与对策[J];中医药管理杂志;2015年13期

7 盛琴;;护理督导在产后访视中的应用分析[J];内蒙古中医药;2015年09期

8 李元琼;陈丽;李芳;;社区产后访视对提高母婴健康水平的影响[J];世界最新医学信息文摘;2015年44期

9 田晶杰;;加强产后访视促进妇幼保健工作[J];健康之路;2017年06期

10 王婕;胡桂风;丁学玲;吕志芳;;91名产妇产后访视时间和次数需求的调查分析[J];中国妇幼保健;2014年25期

相关硕士学位论文 前6条

1 单智;基于Spark的产后访视系统的设计与实现[D];电子科技大学;2018年

2 徐丽娜;产后服务对象避孕节育现状与需求相关调查研究[D];天津医科大学;2015年

3 龙素琼;云南陆良农村妇女产后保健需求研究[D];杭州师范大学;2013年

4 李治军;重庆项目县农村妇女孕产期保健现状及影响因素研究[D];重庆医科大学;2008年

5 杨东玲;利用手机短信和因特网促进母乳喂养的社区干预研究[D];复旦大学;2012年

6 王苓;山西省孕产妇死亡影响因素流行病学研究[D];山西医科大学;2005年

本文编号：2881466