金融信用评估并行学习模型支撑技术研究与原型实现

发布时间：2021-08-27 04:05

　　金融安全是国家安全中非常重要的一环。随着互联网金融、智慧金融的迅速发展,金融业务面临的风险挑战越来越大。大数据时代的到来使得机器学习成为了非常重要的金融风控工具。数据量级的提升,对传统机器学习带来了挑战和机遇。在互联网金融行业,传统的面向小数据的机器学习技术已很难满足大数据时代下的种种需求。通过并行化机器学习算法,在保证计算准确度的基础上,提升数据处理的响应速度是智慧金融算法领域的一个关键问题。本文在金融安全问题背景下,研究金融风险控制领域信用评估问题,以机器学习支撑技术——信用评分模型作为研究目标,选择了信用评分模型中的主流算法逻辑回归、GBDT、XGBoost、LightGBM模型,从并行机器学习入手,根据互联网金融信贷业务行业特点,使用公开在线信贷数据集进行建模研究分析。本文首先基于Zeppelin框架搭建了以Hadoop集群作为底层支撑的机器学习模型生命周期服务管理平台。在平台基础上对获取到的2007年-2015年的开源借贷数据集进行数据质量检验、数据清洗、特征构造、特征选择工作,并在其上进行后续研究建模部署工作。考虑信贷数据集特点,综合所选模型特性,基于数据并行理论设计了依赖... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：102 页

【学位级别】：硕士

【部分图文】：

信用评分模型并行研究工作流程图

电子科技大学硕士学位论文12参照zeppelin官方文档解释，Zeppelin内部架构如图2-1所示。其中Server和Client通信通过jetty内嵌服务器提供WebSocket服务和RESTful服务。Zeppelin中采用单独的jvm来启动interpreter进程，该Interpreter进程与ZeppelinServer进程之间采用Thrift协议通信。通信方式如图2-2所示。图2-1Zeppelin架构图图2-2Interpreter与ZeppelinServer进程通信方式图

电子科技大学硕士学位论文12参照zeppelin官方文档解释，Zeppelin内部架构如图2-1所示。其中Server和Client通信通过jetty内嵌服务器提供WebSocket服务和RESTful服务。Zeppelin中采用单独的jvm来启动interpreter进程，该Interpreter进程与ZeppelinServer进程之间采用Thrift协议通信。通信方式如图2-2所示。图2-1Zeppelin架构图图2-2Interpreter与ZeppelinServer进程通信方式图

【参考文献】：
期刊论文
[1]个人信用评价研究综述[J]. 袁章帅.  山西农经. 2019(08)
[2]基于LightGBM的银行信用卡违约研究[J]. 张国庆,昌宁.  科技资讯. 2019(12)
[3]智慧金融的产生、发展与前景探析[J]. 韩志雄,冯学奋,赵权.  海南金融. 2018(08)
[4]大数据背景下机器学习并行算法研究[J]. 马巍巍,殷凤梅,张江.  电子技术与软件工程. 2018(11)
[5]基于XGBoost的信用风险分析的研究[J]. 赵天傲,郑山红,李万龙,刘凯.  软件工程. 2018(06)
[6]一种基于改进迭代决策树算法的目标威胁评估模型[J]. 李寒雨,秦克,李家志,罗威,赵开敏.  舰船电子工程. 2017(10)
[7]基于GBDT的个人信用评估方法[J]. 王黎,廖闻剑.  电子设计工程. 2017(15)
[8]并行机器学习算法基础体系前沿进展综述[J]. 刘斌,何进荣,耿耀君,王最.  计算机工程与应用. 2017(11)
[9]基于Linux的高性能计算集群MPI并行环境配置研究[J]. 金能智,者建武,李唐艳,孙一桐.  科技创新导报. 2017(03)
[10]基于MPI的GPU集群并行通信系统实现[J]. 侯景德,陈庆奎,赵海燕.  计算机应用与软件. 2016(04)

硕士论文
[1]面向大数据的CPU/GPU/FPGA计算平台研究[D]. 黄海洋.电子科技大学 2017



本文编号：3365614