非法集资数据集成与共享平台的设计与实现
发布时间：2021-09-29 15:01
如今各行各业都步入了信息化的时代,信息传播速度快、覆盖面广等特性给人们的生活、工作带来了极大便利,但同时也成为了不法分子进行经济犯罪活动的利器。然而涉及犯罪案件的数据信息分散在不同企业、平台或网络,难以利用信息化时代带来的信息关联便利对犯罪人员进行打击。本文旨在搭建一个能够将分散在不同领域的经济侦查类信息资源进行整合,同时为经济犯罪类案件的深度挖掘和可视化分析提供数据支撑的非法集资数据集成与共享平台。本文设计的非法集资数据集成与共享平台收集了互联网信息、社会信息、经济信息等多渠道信息资源,以抽取、转换、加载数据为技术手段,将这些信息资源处理为符合数据分析要求的数据并加载到资源池内用于提供数据共享服务。本文介绍了本人在平台的构建过程中的主要工作。首先,本人参与了数据集成与共享平台的需求分析及总体的设计工作。其次,本人独立完成了资源管理模块、数据接入模块、数据处理模块、数据存储模块和数据共享模块的数据库设计;在设计与实现阶段,本人独立完成了资源管理模块、数据接入模块、数据处理模块、数据存储模块和数据共享模块的设计与开发;在测试阶段,本人独立修复了测试团队提交的问题功能并进行回归测试。最后,...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
图２－１数据仓库的体系机构??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??
数据仓库而不是各个数据源，这样的访问方式是直接对物理数据进行操作的［１６］，??因此数据仓库的访问效率很高并且数据仓库内的数据不会因数据源数据的改变而??改变。数据仓库的体系结构如图２－１所示。??￥?“结??询?果??｝?ｆ??ｌｉｆ据仓库一??数据源?数据源?数据源??图２－１数据仓库的体系机构??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??根据数据仓库的体系结构，通过设计数据仓库的数据模式、ＥＴＬ过程和数据??展示来设计和实现数据仓库。??数据仓库的数据模式是由表结构、视图、分区对象和索引组成的［１７］，通过分析??和整合业务数据模型，根据数据间关联关系将数据抽象为概念模型，其次根据概??念模型中的实体间联系进行逻辑模型的设计，最后依据逻辑模型进行物理实现［１８］。??ＥＴＬ过程是从数据源中抽取数据，按需求对数据进行转换并储存到中央数据层??或者是临时储存区。ＥＴＬ过程是指数据仓库首先获取元数据，然后对数据制定转??换步骤并执行，最后将处理完成的数据持久化到数据仓库当中［１９］。??数据仓库主要通过多维分析来表现
非法集资数据集成与共享平台的核心功能包括资源管理、数据接入、数据处??理、数据存储和数据共享五个模块。完成对数据从接入、处理到持久化到目标库??并可对数据进行发布的过程。核心功能模块图如图４－１所示。??非法集资数据集成与共享平台????Ｉ?????Ｉ?＇?１?Ｉ?￣￣?Ｉ?￣１??资源管理｜?丨数据接入丨｜数据处理?ｊ数据存储?｜数据共享??Ｉ?＿ＩＴ＿?￣ＩＺＥ＿?Ｉ??Ｉ?ｒ?ｒ￣￣ｉ?｜?＾?｜?ｆ?＾?ｔ?ｉｌｌ?ｒ￣￣ｉ??资数?文元数?处Ｉ?＿?数接??源?ｇ?资件?ｇ?据数理?２?数存数?ｇ?据?□??分５?、源模?ｇ?输据转ｇ?据储据?２?接调??组銮新版?Ｓ人导换罢？Ｉ设去ｆ?□用??管?５?達设?￡?定入定?ｇ?览贾重公设统??理５Ｓ?ｓ?１５制?制｜?＆晋计??图４－１核心功能模块图??Ｆｉｇｕｒｅ４－１?Ｍｏｄｕｌｅ?Ｄｉａｇｒａｍ?ｏｆ?Ｃｏｒｅ?Ｆｕｎｃｔｉｏｎ??２３??
【参考文献】：
期刊论文
[1]面向商业银行数据仓库的数据质量管理关键技术研究[J]. 项郎. 数码世界. 2018(02)
[2]基于ETL技术的不动产数据整合建库方法[J]. 赵卫平,郝永攀,李晓静. 勘察科学技术. 2017(S1)
[3]一种ETL数据整合架构设计与实现[J]. 张同杨. 价值工程. 2016(31)
[4]基于大数据的反恐情报数据仓库体系结构设计[J]. 瞿志凯,张婷. 情报杂志. 2016(02)
[5]数据仓库与数据挖掘概论[J]. 孟勋. 信息技术与信息化. 2015(08)
[6]基于OLAP的教学质量分析系统设计与实现[J]. 闫朝升,李丹. 电子设计工程. 2015(14)
[7]充分运用ETL工具,构建完整的数据仓库体系结构[J]. 潘敏. 科技创新与应用. 2015(17)
[8]Oracle数据仓库解决方案应用技术探析[J]. 易明中. 电脑编程技巧与维护. 2015(07)
[9]大数据资源转化中的数据ETL过程研究[J]. 李芸. 计算机光盘软件与应用. 2014(21)
[10]数据库系统概论（第5版）[J]. 王珊,萨师煊. 中国大学教学. 2014(09)
硕士论文
[1]基于全科医生绩效考核的数据仓库模型研究[D]. 陈侠李.山西医科大学 2017
[2]基于Spark的分布式ETL研究与应用[D]. 解书亮.东华大学 2017
本文编号：3413914
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
图２－１数据仓库的体系机构??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??
数据仓库而不是各个数据源，这样的访问方式是直接对物理数据进行操作的［１６］，??因此数据仓库的访问效率很高并且数据仓库内的数据不会因数据源数据的改变而??改变。数据仓库的体系结构如图２－１所示。??￥?“结??询?果??｝?ｆ??ｌｉｆ据仓库一??数据源?数据源?数据源??图２－１数据仓库的体系机构??Ｆｉｇｕｒｅ２－１?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?Ｄａｔａ?Ｗａｒｅｈｏｕｓｅ??根据数据仓库的体系结构，通过设计数据仓库的数据模式、ＥＴＬ过程和数据??展示来设计和实现数据仓库。??数据仓库的数据模式是由表结构、视图、分区对象和索引组成的［１７］，通过分析??和整合业务数据模型，根据数据间关联关系将数据抽象为概念模型，其次根据概??念模型中的实体间联系进行逻辑模型的设计，最后依据逻辑模型进行物理实现［１８］。??ＥＴＬ过程是从数据源中抽取数据，按需求对数据进行转换并储存到中央数据层??或者是临时储存区。ＥＴＬ过程是指数据仓库首先获取元数据，然后对数据制定转??换步骤并执行，最后将处理完成的数据持久化到数据仓库当中［１９］。??数据仓库主要通过多维分析来表现
非法集资数据集成与共享平台的核心功能包括资源管理、数据接入、数据处??理、数据存储和数据共享五个模块。完成对数据从接入、处理到持久化到目标库??并可对数据进行发布的过程。核心功能模块图如图４－１所示。??非法集资数据集成与共享平台????Ｉ?????Ｉ?＇?１?Ｉ?￣￣?Ｉ?￣１??资源管理｜?丨数据接入丨｜数据处理?ｊ数据存储?｜数据共享??Ｉ?＿ＩＴ＿?￣ＩＺＥ＿?Ｉ??Ｉ?ｒ?ｒ￣￣ｉ?｜?＾?｜?ｆ?＾?ｔ?ｉｌｌ?ｒ￣￣ｉ??资数?文元数?处Ｉ?＿?数接??源?ｇ?资件?ｇ?据数理?２?数存数?ｇ?据?□??分５?、源模?ｇ?输据转ｇ?据储据?２?接调??组銮新版?Ｓ人导换罢？Ｉ设去ｆ?□用??管?５?達设?￡?定入定?ｇ?览贾重公设统??理５Ｓ?ｓ?１５制?制｜?＆晋计??图４－１核心功能模块图??Ｆｉｇｕｒｅ４－１?Ｍｏｄｕｌｅ?Ｄｉａｇｒａｍ?ｏｆ?Ｃｏｒｅ?Ｆｕｎｃｔｉｏｎ??２３??
【参考文献】：
期刊论文
[1]面向商业银行数据仓库的数据质量管理关键技术研究[J]. 项郎. 数码世界. 2018(02)
[2]基于ETL技术的不动产数据整合建库方法[J]. 赵卫平,郝永攀,李晓静. 勘察科学技术. 2017(S1)
[3]一种ETL数据整合架构设计与实现[J]. 张同杨. 价值工程. 2016(31)
[4]基于大数据的反恐情报数据仓库体系结构设计[J]. 瞿志凯,张婷. 情报杂志. 2016(02)
[5]数据仓库与数据挖掘概论[J]. 孟勋. 信息技术与信息化. 2015(08)
[6]基于OLAP的教学质量分析系统设计与实现[J]. 闫朝升,李丹. 电子设计工程. 2015(14)
[7]充分运用ETL工具,构建完整的数据仓库体系结构[J]. 潘敏. 科技创新与应用. 2015(17)
[8]Oracle数据仓库解决方案应用技术探析[J]. 易明中. 电脑编程技巧与维护. 2015(07)
[9]大数据资源转化中的数据ETL过程研究[J]. 李芸. 计算机光盘软件与应用. 2014(21)
[10]数据库系统概论（第5版）[J]. 王珊,萨师煊. 中国大学教学. 2014(09)
硕士论文
[1]基于全科医生绩效考核的数据仓库模型研究[D]. 陈侠李.山西医科大学 2017
[2]基于Spark的分布式ETL研究与应用[D]. 解书亮.东华大学 2017
本文编号：3413914
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3413914.html
