证券风险监控系统中数据质量检测系统的设计与实现

发布时间：2017-05-06 20:01

  本文关键词：证券风险监控系统中数据质量检测系统的设计与实现，，由笔耕文化传播整理发布。

【摘要】：数据质量对绝大多数企业而言重要性不言而喻。然而,在数据中往往会出现异常,从而造成严重的后果。本文从各个数据源汇聚的数量巨大的数据,但是其中往往蕴含着无用乃至错误的数据。证券市场可以说就是一个国家经济的晴雨表,证券市场能够及时的反映出国家经济的细微波动。因此,数据的准确性、实时性和安全性是证券业的经营的必要条件。以便使用者能够从这些大量的数据中及时的做出决策,从而通过这些数据发掘出其中蕴含的变化规律,更好的去预测它们的发展趋势。但是,往往会因为数据质量问题影响决策者的判断直接或者间接的造成经济损失,因此数据质量检测有重要的现实意义。本文选题的来源是“证券公司风险监控”项目,主要为证券公司及时发现那些新出现的或者随着时间的推移而发生变化的风险,然后进行及时的反馈,以便做出及时、正确的决策。本系统采用java语言编程,通过对来自不同数据源的数据进行设置相关的规则、阈值,发现不满足要求的数据实现对数据质量进行检测的目的。本系统主要分为四大模块：(1)数据源采集模块：主要涉及到添加数据源,查看数据源以及删除数据源的功能,实现采集不同数据的功能。(2)规则模块：主要涉及系统自定义规则以及用户定义规则两个方面,用户可以给系统定义的规则设置阈值从而发现触发阂值的数据,用户还可以设定自己的规则,实现处理不同的数据的功能。(3)执行计划模块：主要涉及到通过制定执行计划,去执行部分规则或者去手段执行规则,实现对数据的监测的目的。(4)数据监测模块：主要涉及到规则执行的结果显示,对数据源中数据的评价,找出不满足要求的数据,图形化反馈出来。
【关键词】：证券交易 风险管理 数据质量 数据规则
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：F832.51;TP274
【目录】：

• 摘要3-4
• Abstract4-8
• 1 绪论8-12
• 1.1 选题背景意义8-9
• 1.2 国内外现状9-10
• 1.3 本论文主要研究工作10-12
• 2 证券风险监控数据质量知识简介12-25
• 2.1 证券简介12-15
• 2.2 风险监控简介15
• 2.3 数据质量的相关简介15-16
• 2.3.1 数据本身的数据质量15-16
• 2.3.2 数据的过程质量16
• 2.4 ETL(Extract Transform Load)工具—Kettle16-18
• 2.5 MongoDB简介18-19
• 2.6 数据仓库19-21
• 2.7 正则表达式21-24
• 2.8 本章小结24-25
• 3 数据质量监测25-32
• 3.1 数据质量25-28
• 3.1.1 数据质量的检测点26-27
• 3.1.2 数据质量的检测规则27-28
• 3.2 ETL转换过程28-31
• 3.3 运行环境31
• 3.4 本章小结31-32
• 4 系统设计及实现32-58
• 4.1. 总体设计32-38
• 4.2. ETL之数据抽取38-40
• 4.3 规则管理40-46
• 4.3.1 规范化的规则管理41-44
• 4.3.1.1 映射规则41-43
• 4.3.1.2 格式化字符规则43
• 4.3.1.3 正则处理规则43-44
• 4.3.1.4 转换类型规则44
• 4.3.2 衡量方式44-46
• 4.4 规则包的管理46-47
• 4.5 数据监测管理47-54
• 4.5.1 检测计划47-48
• 4.5.2 校验记录48-51
• 4.5.3 部分相关表格51-54
• 4.6 实现截图54-57
• 4.7 本章小结57-58
• 5 总结和展望58-59
• 参考文献59-61
• 附录A 图索引61-62
• Appendix A Figure Index62-63
• 附录B 表索引63-64
• Appendix B Table Index64-65
• 附录C 部分核心代码65-70
• 致谢70-71

【参考文献】

中国期刊全文数据库 前10条

1 洪晓虹;陈忠义;;浅谈信息系统实用化及数据质量管理[J];中国城市经济;2011年29期

2 李志辉;;ETL实施的数据质量问题研究[J];电脑知识与技术;2006年26期

3 朱如,李庆峰;数据质量管理与企业信息化建设[J];计算机时代;2005年06期

4 张新茹;论统计数据的质量问题[J];科技情报开发与经济;2005年17期

5 周培鑫;;论企业信息化建设中的数据质量管理[J];科技致富向导;2011年17期

6 蒋引娣;;元数据质量评价研究[J];图书馆理论与实践;2009年05期

7 孙中东;;企业级数据治理框架下的数据质量管理[J];金融电子化;2011年06期

8 宋敏;覃正;;国外数据质量管理研究综述[J];情报杂志;2007年02期

9 许涤龙;叶少波;;统计数据质量评估方法研究述评[J];统计与信息论坛;2011年07期

10 董树明,徐文胜,董逸生;数据集成中的一种数据合并技术[J];现代计算机(专业版);2003年11期

中国硕士学位论文全文数据库 前1条

1 陈孟婕;数据质量管理与数据清洗技术的研究与应用[D];北京邮电大学;2013年

  本文关键词：证券风险监控系统中数据质量检测系统的设计与实现，由笔耕文化传播整理发布。

本文编号：349016