基于Spark的灰狼优化算法的应用研究
发布时间：2021-01-12 12:32
在21世纪,大数据和互联网金融领域都得到了巨大发展。国家对此领域的重视程度也逐渐提高。点对点（P2P）是一种创新的借贷模式,是对传统金融业的有力补充。相较于传统金融借贷行业,它更加高效便捷。但随着科技和金融的迅速发展,也为这个行业带来了相当严峻的挑战,例如用户违约等一些风险。通过科技的手段为行业降低风险,但随着科技的飞速发展,这一行业的数据量呈现爆炸性增长态势,庞大的数据量和海量的特征在传统的计算领域显得无力,但目前的大数据计算和人工智能正好填补这一空缺。本文通过研究传统的智能优化算法-灰狼优化算法（GWO）的优缺点,对该算法进行优化改进,并结合大数据计算平台Spark实现该算法。本文的主要工作内容如下:（1）对传统的灰狼优化算法进行介绍并分析不足,结合实际实验场景,对灰狼优化算法进行二进制改进。由于在庞大的数据量下,算法在本地运行时对该数据量无法有效处理,对传统的算法进行并行化处理,分别在本地环境和分布式环境对传统的GWO算法和改进的GWO算法进行测试,分别在算法的收敛性和速度方面进行比较,最后实验结果证明基于Spark改进的灰狼优化算法能更快速、有效和稳定的处理大量的数据。（2）针...
【文章来源】：湖北工业大学湖北省
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
010年-2019年中国网络借贷平台数量近年来，随着全球经济的迅速增长和中小型企业的快速发展，金融借贷的P2P
伲?杩钊撕痛?降男庞梅缦找哺?螅??现氐氖切?用的缺失在很大程度上影响了整个社会经济的稳定和发展，而这种影响对于社会来说是消极的[4]。但中国一直在坚持不懈地推行健全快速的政策。2013年11月12日，“包容性金融”概念写入中共十八届三中全会决议。2017年6月5日，全国互联网金融安全技术专家委员会正式启动“全国互联网金融阳光计划”信用评级相关工作是确保互联网金融健康发展的关键。因此，P2P在线信用的个人信用评估和预警已然成为一个热门而又棘手的问题。国内近十年来停业、转型及问题平台数量如下图1.2所示。图1.22010年-2019年中国网贷停业平台及问题平台数量截至2019年底，已有343个平台投入运营。《在线借贷之家》发布的《中国在线借贷行业年报(2019)》显示，P2P借贷行业交易额在2019年达到9649.11亿元，比去年同期(17948.01亿元)下降了46.24%，从数据来看，今年全年交易量已达5年以来的最低点。随着P2P贷款市场的快速发展，信贷风险问题不容忽视[5]。由于信息科技的迅速发展，每天在产生的数据量呈爆炸性增长，在P2P行业也不例外。P2P平台的贷款订单和借款人通过Internet进行交易，并且收集到的信用数据种类繁多且数量巨大。在这样巨大的数据量和众多变量的情况下，很难通过人工处理来准确预测违约风险。机器学习的应用是数据挖掘研究中最有效的方法之一[6]，并且特别重要，它可以联合现有的大数据平台和机器学习算法从这些海量的数据当中挖掘出有效信息，既解决了数据量的问题也解决了繁杂的变量问题，所以将机器学习方法用来建立个人对个人对等网络借贷的信用风险评估和预警模型，然后准确评估出借方的信用状况以降低平台的风险，目的是帮助贷方选择信誉良好的客户，排除风险较大的客户，将投资者的风险降至最低，并保持投资者
湖北工业大学硕士学位论文6第2章相关理论与技术2.1灰狼优化算法2.1.1算法基本思想澳大利亚学者Mirjalili[22-24]在2014年提出的灰狼优化算法(GreyWolfOptimizer,GWO)，通过模仿灰狼的社会等级制度，将捕食任务分配到不同等级的灰狼群体，以完成包围、追捕和攻击，从而实现全局优化的过程。在灰狼优化算法中，整个狼群被分为、、和，它们具有严格的等级制度，如图2.1所示。狼是整个灰狼群体中的领袖，是最具智慧和最具能力的个体(离最优值最接近的狼)；狼和狼分别是适应度次佳的个体，它们在捕食过程中将协助狼管理灰狼群体以及猎杀决策等问题，同时也是狼的候选者；剩余的狼群被定义为，它的主要职责是平衡狼群之间的内部关系，并协助、和来攻击猎物。图2.1灰狼等级示意图(主导权从上到下递减)GWO算法可以将整个捕猎的过程分为包围、狩猎和搜索三个阶段，最后抓捕猎物。详细说明如下:(1)包围行为包围猎物行为的数学模型如下所示：)()(pCDttXX(2.1)tDAtXX)()1(p(2.2)其中，t表示当前的迭代次数，A和C表示系数，)(ptX表示猎物的位置向量，tX)(表示灰狼的位置向量，A和C由式(2.3)、式(2.4)得出araA12(2.3)
【参考文献】：
期刊论文
[1]基于Spark的灰狼优化算法研究[J]. 韩麟,陈宏伟. 湖北工业大学学报. 2019(05)
[2]基于集成学习的中国P2P网络借贷信用风险预警模型的对比研究[J]. 操玮,李灿,贺婷婷,朱卫东. 数据分析与知识发现. 2018(10)
[3]基于SVMK-Means的非均衡P2P网贷平台风险预测研究[J]. 张文,崔杨波,姜祎盼. 系统科学与数学. 2018(03)
[4]P2P校园贷款个人违约风险因素指标探析[J]. 张宁静,顾新,杨铖. 财会月刊. 2018(06)
[5]融入软信息的P2P网络借贷违约预测方法[J]. 蒋翠清,王睿雅,丁勇. 中国管理科学. 2017(11)
[6]机器学习算法在P2P网贷平台风险评级中的应用[J]. 张蜀林,李萌萌. 时代金融. 2017(03)
[7]基于支持向量机的互联网金融客户信用风险研究[J]. 张晓芳,戴道明. 平顶山学院学报. 2016(02)
[8]信用风险评估中DKIPSO-SVC组合模型的仿真研究[J]. 万振海,刘铁英,张扬,李吉双. 系统仿真学报. 2015(08)
[9]一种基于决策树和遗传算法-BP神经网络的组合预测模型[J]. 梁栋,张凤琴,陈大武,李小青,王梦非. 中国科技论文. 2015(02)
[10]组合核函数支持向量机在个人信用评估中的应用[J]. 孙强,杨旭娜. 黑龙江科技信息. 2013(26)
硕士论文
[1]基于Spark关联规则挖掘算法研究[D]. 罗启星.湖北工业大学 2019
本文编号：2972856
【文章来源】：湖北工业大学湖北省
【文章页数】：62 页
【学位级别】：硕士
【部分图文】：
010年-2019年中国网络借贷平台数量近年来，随着全球经济的迅速增长和中小型企业的快速发展，金融借贷的P2P
伲?杩钊撕痛?降男庞梅缦找哺?螅??现氐氖切?用的缺失在很大程度上影响了整个社会经济的稳定和发展，而这种影响对于社会来说是消极的[4]。但中国一直在坚持不懈地推行健全快速的政策。2013年11月12日，“包容性金融”概念写入中共十八届三中全会决议。2017年6月5日，全国互联网金融安全技术专家委员会正式启动“全国互联网金融阳光计划”信用评级相关工作是确保互联网金融健康发展的关键。因此，P2P在线信用的个人信用评估和预警已然成为一个热门而又棘手的问题。国内近十年来停业、转型及问题平台数量如下图1.2所示。图1.22010年-2019年中国网贷停业平台及问题平台数量截至2019年底，已有343个平台投入运营。《在线借贷之家》发布的《中国在线借贷行业年报(2019)》显示，P2P借贷行业交易额在2019年达到9649.11亿元，比去年同期(17948.01亿元)下降了46.24%，从数据来看，今年全年交易量已达5年以来的最低点。随着P2P贷款市场的快速发展，信贷风险问题不容忽视[5]。由于信息科技的迅速发展，每天在产生的数据量呈爆炸性增长，在P2P行业也不例外。P2P平台的贷款订单和借款人通过Internet进行交易，并且收集到的信用数据种类繁多且数量巨大。在这样巨大的数据量和众多变量的情况下，很难通过人工处理来准确预测违约风险。机器学习的应用是数据挖掘研究中最有效的方法之一[6]，并且特别重要，它可以联合现有的大数据平台和机器学习算法从这些海量的数据当中挖掘出有效信息，既解决了数据量的问题也解决了繁杂的变量问题，所以将机器学习方法用来建立个人对个人对等网络借贷的信用风险评估和预警模型，然后准确评估出借方的信用状况以降低平台的风险，目的是帮助贷方选择信誉良好的客户，排除风险较大的客户，将投资者的风险降至最低，并保持投资者
湖北工业大学硕士学位论文6第2章相关理论与技术2.1灰狼优化算法2.1.1算法基本思想澳大利亚学者Mirjalili[22-24]在2014年提出的灰狼优化算法(GreyWolfOptimizer,GWO)，通过模仿灰狼的社会等级制度，将捕食任务分配到不同等级的灰狼群体，以完成包围、追捕和攻击，从而实现全局优化的过程。在灰狼优化算法中，整个狼群被分为、、和，它们具有严格的等级制度，如图2.1所示。狼是整个灰狼群体中的领袖，是最具智慧和最具能力的个体(离最优值最接近的狼)；狼和狼分别是适应度次佳的个体，它们在捕食过程中将协助狼管理灰狼群体以及猎杀决策等问题，同时也是狼的候选者；剩余的狼群被定义为，它的主要职责是平衡狼群之间的内部关系，并协助、和来攻击猎物。图2.1灰狼等级示意图(主导权从上到下递减)GWO算法可以将整个捕猎的过程分为包围、狩猎和搜索三个阶段，最后抓捕猎物。详细说明如下:(1)包围行为包围猎物行为的数学模型如下所示：)()(pCDttXX(2.1)tDAtXX)()1(p(2.2)其中，t表示当前的迭代次数，A和C表示系数，)(ptX表示猎物的位置向量，tX)(表示灰狼的位置向量，A和C由式(2.3)、式(2.4)得出araA12(2.3)
【参考文献】：
期刊论文
[1]基于Spark的灰狼优化算法研究[J]. 韩麟,陈宏伟. 湖北工业大学学报. 2019(05)
[2]基于集成学习的中国P2P网络借贷信用风险预警模型的对比研究[J]. 操玮,李灿,贺婷婷,朱卫东. 数据分析与知识发现. 2018(10)
[3]基于SVMK-Means的非均衡P2P网贷平台风险预测研究[J]. 张文,崔杨波,姜祎盼. 系统科学与数学. 2018(03)
[4]P2P校园贷款个人违约风险因素指标探析[J]. 张宁静,顾新,杨铖. 财会月刊. 2018(06)
[5]融入软信息的P2P网络借贷违约预测方法[J]. 蒋翠清,王睿雅,丁勇. 中国管理科学. 2017(11)
[6]机器学习算法在P2P网贷平台风险评级中的应用[J]. 张蜀林,李萌萌. 时代金融. 2017(03)
[7]基于支持向量机的互联网金融客户信用风险研究[J]. 张晓芳,戴道明. 平顶山学院学报. 2016(02)
[8]信用风险评估中DKIPSO-SVC组合模型的仿真研究[J]. 万振海,刘铁英,张扬,李吉双. 系统仿真学报. 2015(08)
[9]一种基于决策树和遗传算法-BP神经网络的组合预测模型[J]. 梁栋,张凤琴,陈大武,李小青,王梦非. 中国科技论文. 2015(02)
[10]组合核函数支持向量机在个人信用评估中的应用[J]. 孙强,杨旭娜. 黑龙江科技信息. 2013(26)
硕士论文
[1]基于Spark关联规则挖掘算法研究[D]. 罗启星.湖北工业大学 2019
本文编号：2972856
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2972856.html
