基于流式处理技术的异构教育数据交换方法研究

发布时间：2021-11-04 16:01

　　当前,教育数据分布分散、异构多样、结构复杂的特点给数据资源的共享带来巨大挑战。针对异构教育数据的交换共享问题,文章在综述国内外研究现状的基础上,提出了一种无统一元数据标准、基于流式处理技术的异构教育数据交换方法。该方法采用了Storm流式处理框架实现数据的实时交换,通过语义相似度建立元数据的映射关系。基于该方法,文章进一步设计了异构教育数据交换平台的体系架构。与传统的数据交换方法相比,该方法无需管理、维护统一元数据,并能满足实时交换、按需交换的需求。 

【文章来源】：现代教育技术. 2019,29(08)北大核心CSSCI

【文章页数】：7 页

【部分图文】：

基于Storm平台的数据流处理过程表1数据流处理过程中各处理器的具体功能数据流类型处理器功能

Vol.29No.82019110图3元数据语义相似度计算流程图图4异构教育数据交换平台体系结构三异构教育数据交换平台体系架构设计体系架构是有关软件系统如何组织的描述，是软件设计中最重要的环节之一。基于经典的层次系统架构风格[18]，本研究设计了异构教育数据交换平台的体系结构，包括数据源层、数据存储层、数据交换层、交换管理层、数据应用层，如图4所示。①数据源层：数据源由各教育应用系统提供，各系统通过数据交换代理（Agent）协调数据交换中心完成数据的接受/发送、解析/封装以及传输控制。Agent处理的数据包括两类：元数据和数据实例。Agent会将元数据封装成消息流投递给存储层的Kafka，数据实例则直接以数据流形式发送出去。②数据存储层：该层主要包括分布式消息系统Kafka和分布式数据库HBase。Kafka的作用有两方面：一是暂存Agent发送来的元数据信息；二是实现数据获取与流式计算的解耦。HBase主要用于存储已经转换完成的元数据映射规则，在元数据信息不变的情况下可以直接查询HBase中的映射关系，避免重复计算。

Vol.29No.82019110图3元数据语义相似度计算流程图图4异构教育数据交换平台体系结构三异构教育数据交换平台体系架构设计体系架构是有关软件系统如何组织的描述，是软件设计中最重要的环节之一。基于经典的层次系统架构风格[18]，本研究设计了异构教育数据交换平台的体系结构，包括数据源层、数据存储层、数据交换层、交换管理层、数据应用层，如图4所示。①数据源层：数据源由各教育应用系统提供，各系统通过数据交换代理（Agent）协调数据交换中心完成数据的接受/发送、解析/封装以及传输控制。Agent处理的数据包括两类：元数据和数据实例。Agent会将元数据封装成消息流投递给存储层的Kafka，数据实例则直接以数据流形式发送出去。②数据存储层：该层主要包括分布式消息系统Kafka和分布式数据库HBase。Kafka的作用有两方面：一是暂存Agent发送来的元数据信息；二是实现数据获取与流式计算的解耦。HBase主要用于存储已经转换完成的元数据映射规则，在元数据信息不变的情况下可以直接查询HBase中的映射关系，避免重复计算。

【参考文献】：
期刊论文
[1]我国教育大数据的研究现状、问题与对策——基于CNKI学术期刊的内容分析[J]. 李振,周东岱,董晓晓,黄雪娇.  现代远距离教育. 2019(01)
[2]人工智能应用背景下的教育人工智能研究[J]. 李振,周东岱,刘娜,欧阳猛.  现代教育技术. 2018(09)
[3]教育大数据的平台构建与关键实现技术[J]. 李振,周东岱,刘娜,董晓晓,钟绍春.  现代教育技术. 2018(01)
[4]教育大数据深度学习的价值取向、挑战及展望——在技术促进学习的理解视域中[J]. 赵慧琼,姜强,赵蔚.  现代远距离教育. 2018(01)
[5]学习分析数据互操作规范IMS Caliper Analytics解读[J]. 李青,赵越.  现代远程教育研究. 2016(02)
[6]获取教育大数据:基于xAPI规范对学习经历数据的获取与共享[J]. 顾小清,郑隆威,简菁.  现代远程教育研究. 2014(05)
[7]大数据流式计算:关键技术及系统实例[J]. 孙大为,张广艳,郑纬民.  软件学报. 2014(04)
[8]基于CIF规范的教育数据交换平台建设实践[J]. 谢晓,刘月婕,李玉顺,胡景芳.  中国电化教育. 2012(12)
[9]教育数据互操作规范研究与实践[J]. 申军霞,李玉顺.  中国电化教育. 2011(05)

博士论文
[1]电子课本模型构建与技术验证[D]. 傅伟.华东师范大学 2013

硕士论文
[1]基于内容的数据交换中心研究[D]. 胡良亚.国防科学技术大学 2005



本文编号：3476051