基于元数据的公交CAN总线数据质量管理系统研究
发布时间：2021-04-09 02:22
在大数据时代,随着信息量快速扩展,数据质量得到了人们越来越广泛的关注。尤其随着移动互联网的发展,物联网作为一种重要的信息技术,通过RFID、传感器等方式,产生了大量的数据和信息。数据质量作为有效处理和分析利用大数据的前提条件,是保障企业使数据产生价值和获得收益的根本。公交车辆CAN总线数据是通过北京市公交集团车辆CAN数据综合应用平台采集。CAN总线,即控制器局域网（Controller Area Network）,又被称做CAN-bus,是由Bosch公司率先研发的新一代汽车总线,用于采集车辆各个核心部件的数据。目前北京公交集团已有5千辆新车开始实现发动机、车辆电气门等装置的实时状态数据采集。总体来说,公交CAN总线数据的数据质量不高,数据中存在不完整、不一致、重复记录等问题。造成这些问题的原因是多方面的,其中一个方面是由于物联网技术在公交车辆上的应用刚处于起步阶段,公交车辆的传感器装置并不能正确的采集到全部数据;另一方面,缺乏对采集到的数据的管理也是造成数据质量问题的重要因素。本文以公交车辆CAN总线数据为基础,对CAN总线数据质量管理中存在的问题进行了深入的分析和研究,提出将元数...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图１－１论文结构??Ｆｉｇｕｒｅ?１－１?Ｐａｐｅｒ?Ｓｔｒｕｃｔｕｒｅ??第一章——绪论
?相关理论和技术介绍??大数据下信息系统的数据处理架构如图２－１所示。??数你＾应用??ＥＴＬ??加我??数?数据仓雕????据??ＪＴ＾Ｔｊ?１?分布式内??存??１±１±＿ｊ?存存储??储?Ｉ分布式海撒存储Ｋ加?????存储???ＥＴＬ??数｜待集成数据源?采集数椐??椐?????ｒ－——??接?多源?异构?交祕?Ｕ志??入?｜数裾｜?｜鍰掘｜?｜数据｜??图２－１大数据平台架构??Ｆｉｇｕｒｅ?２－１?Ｂｉｇ?Ｄａｔａ?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ??２．３相关技术研究??２．３．１?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ?的三层框架??为了更好地进行Ｗｅｂ应用系统的开发，选择一种可扩展性和可移植性强的开??发框架是非常重要的。系统采用在Ｊ２ＥＥ平台基础上，采取Ｂ／Ｓ架构实现。在技术??实现上，系统采用了?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ实现的三层技术架构作为Ｗｅｂ应用??开发的解决方案。??在设计平台架构时，应当分为三个层次：Ｗｅｂ层、持久层、业务逻辑层。??ＪＳＦ框架是一种ＭＶＣ设计模式，负责Ｗｅｂ层的开发设计。ＪＳＦ按照ＭＶＣ模??型可以分为三个部分：模型层（Ｍｏｄｅｌ）、视图层（Ｖｉｅｗ）、控制器层（Ｃｏｎｔｒｏｌｌｅｒ）。??模型层表示的是应用程序的状态和业务逻辑［４Ｑ］，是执行业务操作的部分。视图层??实现了系统与用户的交互。ＪＳＦ框架在视图层通过ＵＩ组件和事件驱动将表示与行??为分离
显示的异常点即为异常值的点。??本文采用了?Ｍａｔｌａｂ、ＳＱＬ两种工具对原始数据进行初步了质量分析，判断原??始数据的数据质量，检测了整车数据两个方面的内容，如图３－１所示。??公交ＣＡＮ总法娜检涮??１?—????１?￣?￣￣?Ｉ???值分析检测?数据录俭酒??￣?■?￣?Ｉ?￣??１￣?￣￣１?１￣?￣１??Ｍａ?Ｓ??墓?ｔｌａ?于??于?ｂ?拂字??统数?ｇ?段??计擇?￥?的??方可?￡?数??法视?廷採??检化?Ａ?值??测检?匹??到?Ｋ??图３－１数据检测手段??Ｆｉｇｕｒｅ?３－１?Ｄａｔａ?Ｄｅｔｅｃｔｉｏｎ?Ｍｅａｎｓ??（１）?ＳＱＬ语言查询??ＳＱＬ是一种结构化的査询语言，采用ＳＱＬ语言可以对各个数据变量的平均值、??最大值、最小值等数据值进行查询，判断该指标的数据是否只有唯一值，以及判??断该指标数据信息是否有效。以ＬＮＧ燃气车的整车数据中的气瓶压力字段为例，??查询其平均值、最大值、最小值数据值的ＳＱＬ语句如下所示。???ｓｅｌｅｃｔ?ａｖｇ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍａｘ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍｉｎ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ）??ｆｒｏｍ?ＰＢｌ＿ＢＵＳｔ???对重复数据记录的检测也可以通过ＳＱＬ语句进行，来判断其是否存在有重复??记录。因为公交ＣＡＮ数据是按时间来采集的，在进行重复记录数据检测时，可以??根据采集时间对数据集进行排序
【参考文献】：
期刊论文
[1]大数据环境下的数据质量管理策略[J]. 刘金晶,曹文洁. 软件导刊. 2017(03)
[2]大数据研究综述[J]. 卿勇. 软件导刊. 2016(12)
[3]我国地方政府开放数据的核心元数据研究[J]. 于梦月,翟军,林岩. 情报杂志. 2016(12)
[4]电子档案元数据管理方案策略研究[J]. 陶水龙,田雷. 档案学研究. 2016(02)
[5]基于广东电网大数据的数据质量管理方法[J]. 江疆,黄剑文,杨秋勇. 现代计算机(专业版). 2016(07)
[6]电网GIS基础数据质量管理工具设计与应用[J]. 唐凯,钟一俊,吴惠芬,贺沛宇,徐柳婧,戚伟强. 电力信息与通信技术. 2016(02)
[7]CAN总线在智能公交系统中的应用[J]. 安连华,管德永,程鹏. 城市公共交通. 2016(01)
[8]运营商在大数据背景下对数据质量管理体系的探索及思考[J]. 杨迪,马怡安,王铮,董斌. 互联网天地. 2016(01)
[9]信息化医疗统计数据质量管理与控制[J]. 郭菊花. 时代金融. 2015(32)
[10]银行业数据质量管理方法研究与实践[J]. 田江,刘晨. 电子科学技术. 2015(03)
硕士论文
[1]基于模糊综合评价的道路交通流数据质量评价研究[D]. 马韵楠.北京交通大学 2015
[2]基于元数据的银行数据质量管理技术研究[D]. 于天娇.浙江大学 2015
[3]运营数据存储系统的设计[D]. 侯利斌.内蒙古大学 2014
[4]基于BI技术的证券公司客户分析模型的研究及实现[D]. 原雷.中国科学院大学（工程管理与信息技术学院） 2014
[5]数据质量管理与数据清洗技术的研究与应用[D]. 陈孟婕.北京邮电大学 2013
[6]基于业务规则的数据中心数据质量研究[D]. 丛慧刚.东北石油大学 2012
[7]移动通信企业数据整合与数据质量控制研究[D]. 赵俊蛟.天津大学 2011
[8]基于元数据的数据质量控制与评估模型研究[D]. 刘伟.东北石油大学 2011
[9]基于元数据的数据中心管理系统的设计与实现[D]. 吉文杰.东华大学 2011
[10]CAN总线在智能仪表系统中的研究与应用[D]. 向科.贵州大学 2007
本文编号：3126723
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【部分图文】：
图１－１论文结构??Ｆｉｇｕｒｅ?１－１?Ｐａｐｅｒ?Ｓｔｒｕｃｔｕｒｅ??第一章——绪论
?相关理论和技术介绍??大数据下信息系统的数据处理架构如图２－１所示。??数你＾应用??ＥＴＬ??加我??数?数据仓雕????据??ＪＴ＾Ｔｊ?１?分布式内??存??１±１±＿ｊ?存存储??储?Ｉ分布式海撒存储Ｋ加?????存储???ＥＴＬ??数｜待集成数据源?采集数椐??椐?????ｒ－——??接?多源?异构?交祕?Ｕ志??入?｜数裾｜?｜鍰掘｜?｜数据｜??图２－１大数据平台架构??Ｆｉｇｕｒｅ?２－１?Ｂｉｇ?Ｄａｔａ?Ｐｌａｔｆｏｒｍ?Ａｒｃｈｉｔｅｃｔｕｒｅ??２．３相关技术研究??２．３．１?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ?的三层框架??为了更好地进行Ｗｅｂ应用系统的开发，选择一种可扩展性和可移植性强的开??发框架是非常重要的。系统采用在Ｊ２ＥＥ平台基础上，采取Ｂ／Ｓ架构实现。在技术??实现上，系统采用了?ＪＳＦ?＋?Ｓｐｒｉｎｇ?＋?Ｈｉｂｅｒｎａｔｅ实现的三层技术架构作为Ｗｅｂ应用??开发的解决方案。??在设计平台架构时，应当分为三个层次：Ｗｅｂ层、持久层、业务逻辑层。??ＪＳＦ框架是一种ＭＶＣ设计模式，负责Ｗｅｂ层的开发设计。ＪＳＦ按照ＭＶＣ模??型可以分为三个部分：模型层（Ｍｏｄｅｌ）、视图层（Ｖｉｅｗ）、控制器层（Ｃｏｎｔｒｏｌｌｅｒ）。??模型层表示的是应用程序的状态和业务逻辑［４Ｑ］，是执行业务操作的部分。视图层??实现了系统与用户的交互。ＪＳＦ框架在视图层通过ＵＩ组件和事件驱动将表示与行??为分离
显示的异常点即为异常值的点。??本文采用了?Ｍａｔｌａｂ、ＳＱＬ两种工具对原始数据进行初步了质量分析，判断原??始数据的数据质量，检测了整车数据两个方面的内容，如图３－１所示。??公交ＣＡＮ总法娜检涮??１?—????１?￣?￣￣?Ｉ???值分析检测?数据录俭酒??￣?■?￣?Ｉ?￣??１￣?￣￣１?１￣?￣１??Ｍａ?Ｓ??墓?ｔｌａ?于??于?ｂ?拂字??统数?ｇ?段??计擇?￥?的??方可?￡?数??法视?廷採??检化?Ａ?值??测检?匹??到?Ｋ??图３－１数据检测手段??Ｆｉｇｕｒｅ?３－１?Ｄａｔａ?Ｄｅｔｅｃｔｉｏｎ?Ｍｅａｎｓ??（１）?ＳＱＬ语言查询??ＳＱＬ是一种结构化的査询语言，采用ＳＱＬ语言可以对各个数据变量的平均值、??最大值、最小值等数据值进行查询，判断该指标的数据是否只有唯一值，以及判??断该指标数据信息是否有效。以ＬＮＧ燃气车的整车数据中的气瓶压力字段为例，??查询其平均值、最大值、最小值数据值的ＳＱＬ语句如下所示。???ｓｅｌｅｃｔ?ａｖｇ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍａｘ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ?），??ｍｉｎ?（ｔ．ｃｙｌｉｎｄｅｒｐｒｅｓｓｕｒｅ）??ｆｒｏｍ?ＰＢｌ＿ＢＵＳｔ???对重复数据记录的检测也可以通过ＳＱＬ语句进行，来判断其是否存在有重复??记录。因为公交ＣＡＮ数据是按时间来采集的，在进行重复记录数据检测时，可以??根据采集时间对数据集进行排序
【参考文献】：
期刊论文
[1]大数据环境下的数据质量管理策略[J]. 刘金晶,曹文洁. 软件导刊. 2017(03)
[2]大数据研究综述[J]. 卿勇. 软件导刊. 2016(12)
[3]我国地方政府开放数据的核心元数据研究[J]. 于梦月,翟军,林岩. 情报杂志. 2016(12)
[4]电子档案元数据管理方案策略研究[J]. 陶水龙,田雷. 档案学研究. 2016(02)
[5]基于广东电网大数据的数据质量管理方法[J]. 江疆,黄剑文,杨秋勇. 现代计算机(专业版). 2016(07)
[6]电网GIS基础数据质量管理工具设计与应用[J]. 唐凯,钟一俊,吴惠芬,贺沛宇,徐柳婧,戚伟强. 电力信息与通信技术. 2016(02)
[7]CAN总线在智能公交系统中的应用[J]. 安连华,管德永,程鹏. 城市公共交通. 2016(01)
[8]运营商在大数据背景下对数据质量管理体系的探索及思考[J]. 杨迪,马怡安,王铮,董斌. 互联网天地. 2016(01)
[9]信息化医疗统计数据质量管理与控制[J]. 郭菊花. 时代金融. 2015(32)
[10]银行业数据质量管理方法研究与实践[J]. 田江,刘晨. 电子科学技术. 2015(03)
硕士论文
[1]基于模糊综合评价的道路交通流数据质量评价研究[D]. 马韵楠.北京交通大学 2015
[2]基于元数据的银行数据质量管理技术研究[D]. 于天娇.浙江大学 2015
[3]运营数据存储系统的设计[D]. 侯利斌.内蒙古大学 2014
[4]基于BI技术的证券公司客户分析模型的研究及实现[D]. 原雷.中国科学院大学（工程管理与信息技术学院） 2014
[5]数据质量管理与数据清洗技术的研究与应用[D]. 陈孟婕.北京邮电大学 2013
[6]基于业务规则的数据中心数据质量研究[D]. 丛慧刚.东北石油大学 2012
[7]移动通信企业数据整合与数据质量控制研究[D]. 赵俊蛟.天津大学 2011
[8]基于元数据的数据质量控制与评估模型研究[D]. 刘伟.东北石油大学 2011
[9]基于元数据的数据中心管理系统的设计与实现[D]. 吉文杰.东华大学 2011
[10]CAN总线在智能仪表系统中的研究与应用[D]. 向科.贵州大学 2007
本文编号：3126723
本文链接：https://www.wllwen.com/guanlilunwen/zhiliangguanli/3126723.html
