天文异常现象的在线检测与离线挖掘系统设计与实现
发布时间:2022-01-25 05:44
天文观测科学研究是国家重点发展战略,展示大国自然科学研究水平。很多国家投入优势资源开发了著名的天文观测系统,如美国的大型综合巡天望远镜(Large Synoptic Survey Telescope,LSST)系统、中国的地面广角相机阵(Ground Wide Angle Camera,GWAC)系统。同时,与之配套的天文大数据管理系统也越发重要,它们为天文观测系统产生的海量数据提供了数据管理和检索功能,为科学发现和天文爱好者提供数据共享的平台,如美国的斯隆数据库为斯隆数字巡天(Sloan Digital Sky Survey,SDSS)系统提供海量天文数据的管理服务。我国国家天文台自主研发的GWAC系统是目标发现短时标异常天文现象的光学望远镜阵列。GWAC天文系统由40台小口径巡天望远镜相机矩阵组成,相比其它巡天项目覆盖更大的观测视场,具有更高的时间采样率。建立GWAC对应的数据处理系统,既要在镜头采样区间内实现快速的天文异常检测,也要满足长期存储数据的可利用需求。基于十三五国家重点研发计划项目背景,面向GWAC系统的数据处理需求,研发了一套具有实时天文异常现象检测和长期数据管理与数...
【文章来源】:山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】:99 页
【学位级别】:硕士
【部分图文】:
图2-1系统概述示意图??如图2-1所示,本系统的构成部件主要包括四个模块:在线数据检测、离线??、
?山东大学硕士学位论文???据流处理。??本模块的用例图如图2-2所示。??大a;数据处埋仃务调度??资源巧)???includs>>????include??-?-??《include〉〉??从节??用户? ̄^?一^??(^D〇cker951^\?_?-??点源识别)???iaclude???图2-2天文数据处理任务调度用例图??节点选取的剩余资源判断功能的用例描述表如表2-4所示??表24剩余资源判断用例描述表??用例名称?|剩余资源判断?|用例类型?|业务用例??主要业务参与f系统用户???ll例描述?用户登录系统,在各从节点选择出剩余资源最多的节点?? ̄ ̄前置条件?"目前处理的观测记录在集群中不存在与之对应的处理节点??_?1.进入剩余资源判断功能??2.主节点向各从节点发送查看系统资源命令??}?3.从节点把本地的可用内存大小发送给主节点进程??^?4.采用快速排序法对节点剩余资源数进行排序??5.返回剩余内存资源最多的子节点机器名???6.用例终止???If展事件流—无??1置条件?"剩余资源判断执行成功??"实现约束和说明|完成操作后,数据处理流程运行无误??检测结果收集功能的用例描述表如表2-5所示。??表2-5检测结果收集功能的用例描述??If]例名称?|检测结果收集?|用例类型?|业务用例??主耍业务参与f系统川户???If]例描述?|主节点收集检测出的沣常天文数据并汇总??15??
?山东大学硕士学位论文???茳线大文异常检测???inciuds>>???iRclude???现象??用户??<Unclude???(在线检铡?J??—?—??*■* ̄ ̄???stend>>??---*?■? ̄-- ̄??线异常检^)??图2-3在线天文异常检测用例图??组件安装功能的用例描述表如表2-6所示。??表2-6组件安装功能的用例描述??ll例名称?|组件安装?|用例类型?丨业务用例??主要业务参与f系统用户??? ̄ ̄用例描述?^从节点上采用Docker搭建相关组件??前置条件?^从节点完成相关环境的配置??1.检查Docker内包含的组件种类??2.检查机器可用空间??^?3.构建各组件所需的依赖关系??4.按顺序幵始软件安装??5.建立新Docker与主节点的通信???6.用例终止???If?展事件流?无??1§置条件?组件安装执行成功??^实现约束和说明|完成操作后,数据处理流程运行无误??数据驱动在线异常检测功能的用例描述表如下表所示。??表2-7数据驱动在线异常检测功能的用例描述??IfH列名称?|数据驱动在线异常检测|用例类型?|业务用例??主要业备参与f系统用户???3例描述? ̄采用数据驱动方法执行在线异常检测??Ijf罝条件?观测数据传输到在线异常检测框架??—"1.提取数据流中的亮度值属性所在的列??2.利用采样数据构建正态分布模型??3.当前时刻亮度值与模型对比i十算:概率??幕本車件流??4.对于高于95%异常概率的亮度值数据认定为异常??5.把异常数据记录发送给主节点汇总???|?6.用例终止
【参考文献】:
期刊论文
[1]基于WCS的FITS图像天球定位综述及通用可视化研究[J]. 宋文明,樊东卫,苏丽颖,崔辰州. 天文学报. 2017(06)
[2]天文瞬变源快速自动识别系统的研究与实现[J]. 吴潮,马冬,田海俊,李乡儒,魏建彦. 自动化学报. 2017(12)
[3]天文大数据挑战与实时处理技术[J]. 杨晨,翁祖建,孟小峰,任玮,忻日辉,王春凯,都志辉,万萌,魏建彦. 计算机研究与发展. 2017(02)
[4]大视场光学瞬变源认证系统的设计与实现[J]. 马冬,吴潮,田海俊,魏建彦. 天文研究与技术. 2016(02)
[5]天文大数据管理工具的设计与实现[J]. 钟守波,韩波,张彦霞,赵永恒,何勃亮. 天文研究与技术. 2015(04)
[6]天文数据库回顾与展望[J]. 李建,崔辰州,何勃亮,赵永恒,曹子皇,樊东卫,李长华,谌悦. 天文学进展. 2013(01)
[7]地球卫星运动中坐标系附加摄动与参考系选择问题[J]. 刘林,汤靖师. 空间科学学报. 2008(02)
本文编号:3607993
【文章来源】:山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】:99 页
【学位级别】:硕士
【部分图文】:
图2-1系统概述示意图??如图2-1所示,本系统的构成部件主要包括四个模块:在线数据检测、离线??、
?山东大学硕士学位论文???据流处理。??本模块的用例图如图2-2所示。??大a;数据处埋仃务调度??资源巧)???includs>>????include??-?-??《include〉〉??从节??用户? ̄^?一^??(^D〇cker951^\?_?-??点源识别)???iaclude???图2-2天文数据处理任务调度用例图??节点选取的剩余资源判断功能的用例描述表如表2-4所示??表24剩余资源判断用例描述表??用例名称?|剩余资源判断?|用例类型?|业务用例??主要业务参与f系统用户???ll例描述?用户登录系统,在各从节点选择出剩余资源最多的节点?? ̄ ̄前置条件?"目前处理的观测记录在集群中不存在与之对应的处理节点??_?1.进入剩余资源判断功能??2.主节点向各从节点发送查看系统资源命令??}?3.从节点把本地的可用内存大小发送给主节点进程??^?4.采用快速排序法对节点剩余资源数进行排序??5.返回剩余内存资源最多的子节点机器名???6.用例终止???If展事件流—无??1置条件?"剩余资源判断执行成功??"实现约束和说明|完成操作后,数据处理流程运行无误??检测结果收集功能的用例描述表如表2-5所示。??表2-5检测结果收集功能的用例描述??If]例名称?|检测结果收集?|用例类型?|业务用例??主耍业务参与f系统川户???If]例描述?|主节点收集检测出的沣常天文数据并汇总??15??
?山东大学硕士学位论文???茳线大文异常检测???inciuds>>???iRclude???现象??用户??<Unclude???(在线检铡?J??—?—??*■* ̄ ̄???stend>>??---*?■? ̄-- ̄??线异常检^)??图2-3在线天文异常检测用例图??组件安装功能的用例描述表如表2-6所示。??表2-6组件安装功能的用例描述??ll例名称?|组件安装?|用例类型?丨业务用例??主要业务参与f系统用户??? ̄ ̄用例描述?^从节点上采用Docker搭建相关组件??前置条件?^从节点完成相关环境的配置??1.检查Docker内包含的组件种类??2.检查机器可用空间??^?3.构建各组件所需的依赖关系??4.按顺序幵始软件安装??5.建立新Docker与主节点的通信???6.用例终止???If?展事件流?无??1§置条件?组件安装执行成功??^实现约束和说明|完成操作后,数据处理流程运行无误??数据驱动在线异常检测功能的用例描述表如下表所示。??表2-7数据驱动在线异常检测功能的用例描述??IfH列名称?|数据驱动在线异常检测|用例类型?|业务用例??主要业备参与f系统用户???3例描述? ̄采用数据驱动方法执行在线异常检测??Ijf罝条件?观测数据传输到在线异常检测框架??—"1.提取数据流中的亮度值属性所在的列??2.利用采样数据构建正态分布模型??3.当前时刻亮度值与模型对比i十算:概率??幕本車件流??4.对于高于95%异常概率的亮度值数据认定为异常??5.把异常数据记录发送给主节点汇总???|?6.用例终止
【参考文献】:
期刊论文
[1]基于WCS的FITS图像天球定位综述及通用可视化研究[J]. 宋文明,樊东卫,苏丽颖,崔辰州. 天文学报. 2017(06)
[2]天文瞬变源快速自动识别系统的研究与实现[J]. 吴潮,马冬,田海俊,李乡儒,魏建彦. 自动化学报. 2017(12)
[3]天文大数据挑战与实时处理技术[J]. 杨晨,翁祖建,孟小峰,任玮,忻日辉,王春凯,都志辉,万萌,魏建彦. 计算机研究与发展. 2017(02)
[4]大视场光学瞬变源认证系统的设计与实现[J]. 马冬,吴潮,田海俊,魏建彦. 天文研究与技术. 2016(02)
[5]天文大数据管理工具的设计与实现[J]. 钟守波,韩波,张彦霞,赵永恒,何勃亮. 天文研究与技术. 2015(04)
[6]天文数据库回顾与展望[J]. 李建,崔辰州,何勃亮,赵永恒,曹子皇,樊东卫,李长华,谌悦. 天文学进展. 2013(01)
[7]地球卫星运动中坐标系附加摄动与参考系选择问题[J]. 刘林,汤靖师. 空间科学学报. 2008(02)
本文编号:3607993
本文链接:https://www.wllwen.com/shoufeilunwen/benkebiyelunwen/3607993.html