航天器测试数据集成管理与分析技术研究

发布时间：2019-09-05 20:02

【摘要】：近年来,随着航天器技术的快速发展,积累了大量多源异构的分散测试数据,这些数据蕴含了丰富的信息且具有极高的价值,因此,对航天器数据的综合管理与分析需求日趋迫切。对航天器测试数据进行集成管理以及数据可用性及价值的分析,是航天器数据深度分析和应用的基础。本文针对航天器测试和试验数据的综合管理和分析需求,开展航天器测试和试验数据的集成管理和分析技术研究。首先,针对航天器多源异构测试数据管理存在的数据量大、数据分散、数据来源多样且格式不统一等问题,研究基于Hadoop大数据平台的航天器测试数据集成管理技术。通过分析航天器测试数据中的结构化测试数据和多媒体测试数据的特点与存储需求,借助Hbase大数据库和HDFS分布式文件系统实现航天器测试数据的综合集成与快速查询,实现航天器多媒体测试数据的批量导入与快速检索。使用真实卫星运行数据与模拟卫星试验过程的多媒体数据进行功能验证。上述研究为航天器测试数据可挖掘特性分析奠定研究基础。其次,针对航天器测试数据具备的典型工业大数据价值密度低、进行深度分析应用对测试人员要求较高的问题,面对测试人员需快速理解数据,明确数据是否具有分析价值的需求,研究航天器测试和试验数据可挖掘特性分析技术。通过分析航天器测试数据特点及常用航天器数据挖掘方法和技术对数据质量和特性的要求,提出融合多种关联分析、主成分分析、包络分析、数据拟合与和分类聚类方法的数据可挖掘特性分析方法。使用仿真数据集与公开数据集对算法功能进行验证,并结合二维和三维的可视化方法展示目标数据集中各个参量的关联性、趋势性和分类特性的显著程度,帮助测试人员综合判断测试数据的挖掘价值。最后,设计能够实现航天器测试数据集成管理与数据可挖掘特性分析的演示软件,具备真实卫星测试数据的导入、查询与下载的功能,能够分析卫星测试数据的关联性、趋势性与分类特性等可挖掘特性。使用Python及其相关库结合thrift框架的方式,使用Python完成演示软件架构搭建、数据处理、算法实现及界面设计,使用thrift框架实现对Hbase的远程访问功能。使用合作单位提供的真实卫星运行数据对软件的可用性与性能进行初步的验证与评估。初步的实验验证表明,本文所提出的航天器测试数据集成管理与分析技术在真实卫星测试数据上具有良好的适应性,能够实现卫星异构测试数据的集成管理、快速检索和批量下载,并在此基础上分析并展示数据可挖掘特性,帮助测试人员有效理解卫星测试数据的挖掘价值,支持后续更加复杂的数据分析与挖掘工作。
【图文】：

时间范围,行数,数据文件,第二次

图 2-16 Hbase shell 查询结果第一次导入完成之后，进行第二次导入测试，使用的数据文件及说明文件，包含 1253 行数据，时间范围为 2011/2/11 8:44 至 2011/2/12 13:56，与第一次导入的数据时间范围上有部分重叠，包含两个列族 part1 和 part2，，part1 列族仍然包含 sensor1 和 sensor2 两列，而 part2 列族比第一次导入时

时长,数据集,数据集名

图 2-18 Hbase shell 查询结果不同大小数据集导入所需时长如表 2-3 所示。表 2-3 不同大小数据集导入所需时长数据集名称大小导入用时（s）
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：V416;TP311.13

【参考文献】