基于自然语言处理与深度学习的信用贷款评估模型
发布时间：2021-12-09 03:10
针对信用贷款评估模型存在特征预处理复杂、受主观因素干扰、准确率较低等现象,提出一种新模型。该模型首先组建连续性信贷特征文本数据,然后使用Word2Vec算法进行词向量化后通过词嵌入层衔接卷积神经网络（CNN）进行评估,通过Keras框架并依据2008～2018年的银行个人信贷数据进行实证分析。结果表明:新模型的总体评估准确率高达91.7%,无需对缺失特征进行处理并可直接评估,且评估准确率更优异,达到85.8%。新模型将离散型的信贷特征转变为连续性文本,降低特征预处理复杂度,结合Word2Vec与自然语言处理实现直接评估缺失信贷特征的目的,并基于CNN优异的特征分析能力最终提高信贷评估模型鲁棒性,进一步改善信用贷款评估模型中存在的部分问题,同时避免评估中主观因素的干扰。
【文章来源】：系统管理学报. 2020,29(04)北大核心CSSCICSCD
【文章页数】：10 页
【部分图文】：
CBOW模型运作图
深度学习是基于数据进行表征学习的方法，与传统机器学习算法相比，其具有更优异的特征提取能力，特别是深度学习分支下的卷积神经网络（Convolutional Neural Networks,CNN）模型，在目标检测、自然语言处理等领域发挥了重要作用[22-25]。本文将CNN应用于信贷评估领域，在WV-CNN模型内构建一维CNN，将词向量化后的信贷特征文本作为该网络的输入进行训练并评估。由图2可知，WV-CNN模型的CNN部分首先将CBOW计算出的词向量嵌入至CNN输入层，称为词嵌入层。其次，构建多重卷积层和池化层，由于信贷特征在时间维度上以一维向量的形式存在，因而卷积层与池化层的过滤器也是一维向量。同时，为了防止过拟合现象，在卷积层与池化层中加入Dropout层；Flatten层是基于多次卷积池化操作后进行扁平化处理。最后，通过全连接层（Dense层）输出信贷评估结果。
本文基于Tensorflow为后端的Keras实现WV-CNN模型。Keras是一个高级深度神经网络实现框架，具有模块化、可扩展性、快速部署神经网络等优点[26-27]。图3所示为WV-CNN模型在Keras中的部署图。根据图3,Keras根据WV-CNN模型的信贷特征文本预处理、词向量化、模型训练与信贷评估3个过程，依次调用numpy、nltk和gensim等处理包进行部署实现。结合图3,Keras不仅是高级深度神经网络的实现框架，同时也提供多种模型和函数之间的衔接函数，如Flatten数据扁平化处理函数、Dense数据全连接函数以及join语句连接函数等，这类衔接函数可以将文本预处理、词向量化、训练及最终评估所产生的数据进行数据衔接，从而形成整体的WV-CNN模型，进一步完善了WV-CNN模型处理信贷数据的衔接性问题，提高了信贷评估的流畅性。另外，根据部署图所示，将文本预处理、词向量化、模型训练与信贷评估封装在Keras内，不仅简化评估的中间过程，若侧重研究信贷特征的变化过程，同样也可根据部署图先探讨信贷评估的内部认知结构，进而调取信贷特征影响信贷评估结果的自主性，方便后续展开不同信贷特征对整个评估结果影响的研究。综合而言，WV-CNN模型由于使用Word2Vec算法，因而可将单词进行相似度聚类，相比于其他特征处理方法，词向量转化更贴合实际定性表述，且CNN与传统机器学习相比，具有更高效的特征分析与特征关联判断能力。因此，评估结果更高效准确。同时，WV-CNN模型将Word2Vec和CNN通过词嵌入层进行衔接，使特征处理与模型评估有效结合，实现了端到端的整体化评估，避免多次操作带来的繁琐冗长。
【参考文献】：
期刊论文
[1]基于动态权重的信用评级[J]. 葛兴浪,刘海龙. 系统管理学报. 2019(02)
[2]A Text Sentiment Classification Modeling Method Based on Coordinated CNN-LSTM-Attention Model[J]. ZHANG Yangsen,ZHENG Jia,JIANG Yuru,HUANG Gaijuan,CHEN Ruoyu. Chinese Journal of Electronics. 2019(01)
[3]基于违约状态联合概率的商业银行信贷资金行业间优化配置模型[J]. 曹勇,李孟刚,李刚,常友玲. 系统管理学报. 2018(05)
[4]Using deep learning to detect small targets in infrared oversampling images[J]. LIN Liangkui,WANG Shaoyou,TANG Zhongxing. Journal of Systems Engineering and Electronics. 2018(05)
[5]基于ELECTRE III的农户小额贷款信用评级模型[J]. 石宝峰,王静. 系统管理学报. 2018(05)
[6]Transcriptome analysis of adherens junction pathway-related genes after peripheral nerve injury[J]. Sheng Yi,Xing-Hui Wang,Ling-Yan Xing. Neural Regeneration Research. 2018(10)
[7]基于词性与词序的相关因子训练的word2vec改进模型[J]. 潘博,于重重,张青川,徐世璇,曹帅. 电子学报. 2018(08)
[8]客户特征影响信用卡业务盈利水平的结构方程模型[J]. 王星,金淳,李延喜. 系统管理学报. 2018(03)
[9]Encoding syntactic representations with a neural network for sentiment collocation extraction[J]. Yanyan ZHAO,Bing QIN,Ting LIU. Science China（Information Sciences）. 2017(11)
[10]Convolutional neural networks for expert recommendation in community question answering[J]. Jian WANG,Jiqing SUN,Hongfei LIN,Hualei DONG,Shaowu ZHANG. Science China（Information Sciences）. 2017(11)
本文编号：3529797
【文章来源】：系统管理学报. 2020,29(04)北大核心CSSCICSCD
【文章页数】：10 页
【部分图文】：
CBOW模型运作图
深度学习是基于数据进行表征学习的方法，与传统机器学习算法相比，其具有更优异的特征提取能力，特别是深度学习分支下的卷积神经网络（Convolutional Neural Networks,CNN）模型，在目标检测、自然语言处理等领域发挥了重要作用[22-25]。本文将CNN应用于信贷评估领域，在WV-CNN模型内构建一维CNN，将词向量化后的信贷特征文本作为该网络的输入进行训练并评估。由图2可知，WV-CNN模型的CNN部分首先将CBOW计算出的词向量嵌入至CNN输入层，称为词嵌入层。其次，构建多重卷积层和池化层，由于信贷特征在时间维度上以一维向量的形式存在，因而卷积层与池化层的过滤器也是一维向量。同时，为了防止过拟合现象，在卷积层与池化层中加入Dropout层；Flatten层是基于多次卷积池化操作后进行扁平化处理。最后，通过全连接层（Dense层）输出信贷评估结果。
本文基于Tensorflow为后端的Keras实现WV-CNN模型。Keras是一个高级深度神经网络实现框架，具有模块化、可扩展性、快速部署神经网络等优点[26-27]。图3所示为WV-CNN模型在Keras中的部署图。根据图3,Keras根据WV-CNN模型的信贷特征文本预处理、词向量化、模型训练与信贷评估3个过程，依次调用numpy、nltk和gensim等处理包进行部署实现。结合图3,Keras不仅是高级深度神经网络的实现框架，同时也提供多种模型和函数之间的衔接函数，如Flatten数据扁平化处理函数、Dense数据全连接函数以及join语句连接函数等，这类衔接函数可以将文本预处理、词向量化、训练及最终评估所产生的数据进行数据衔接，从而形成整体的WV-CNN模型，进一步完善了WV-CNN模型处理信贷数据的衔接性问题，提高了信贷评估的流畅性。另外，根据部署图所示，将文本预处理、词向量化、模型训练与信贷评估封装在Keras内，不仅简化评估的中间过程，若侧重研究信贷特征的变化过程，同样也可根据部署图先探讨信贷评估的内部认知结构，进而调取信贷特征影响信贷评估结果的自主性，方便后续展开不同信贷特征对整个评估结果影响的研究。综合而言，WV-CNN模型由于使用Word2Vec算法，因而可将单词进行相似度聚类，相比于其他特征处理方法，词向量转化更贴合实际定性表述，且CNN与传统机器学习相比，具有更高效的特征分析与特征关联判断能力。因此，评估结果更高效准确。同时，WV-CNN模型将Word2Vec和CNN通过词嵌入层进行衔接，使特征处理与模型评估有效结合，实现了端到端的整体化评估，避免多次操作带来的繁琐冗长。
【参考文献】：
期刊论文
[1]基于动态权重的信用评级[J]. 葛兴浪,刘海龙. 系统管理学报. 2019(02)
[2]A Text Sentiment Classification Modeling Method Based on Coordinated CNN-LSTM-Attention Model[J]. ZHANG Yangsen,ZHENG Jia,JIANG Yuru,HUANG Gaijuan,CHEN Ruoyu. Chinese Journal of Electronics. 2019(01)
[3]基于违约状态联合概率的商业银行信贷资金行业间优化配置模型[J]. 曹勇,李孟刚,李刚,常友玲. 系统管理学报. 2018(05)
[4]Using deep learning to detect small targets in infrared oversampling images[J]. LIN Liangkui,WANG Shaoyou,TANG Zhongxing. Journal of Systems Engineering and Electronics. 2018(05)
[5]基于ELECTRE III的农户小额贷款信用评级模型[J]. 石宝峰,王静. 系统管理学报. 2018(05)
[6]Transcriptome analysis of adherens junction pathway-related genes after peripheral nerve injury[J]. Sheng Yi,Xing-Hui Wang,Ling-Yan Xing. Neural Regeneration Research. 2018(10)
[7]基于词性与词序的相关因子训练的word2vec改进模型[J]. 潘博,于重重,张青川,徐世璇,曹帅. 电子学报. 2018(08)
[8]客户特征影响信用卡业务盈利水平的结构方程模型[J]. 王星,金淳,李延喜. 系统管理学报. 2018(03)
[9]Encoding syntactic representations with a neural network for sentiment collocation extraction[J]. Yanyan ZHAO,Bing QIN,Ting LIU. Science China（Information Sciences）. 2017(11)
[10]Convolutional neural networks for expert recommendation in community question answering[J]. Jian WANG,Jiqing SUN,Hongfei LIN,Hualei DONG,Shaowu ZHANG. Science China（Information Sciences）. 2017(11)
本文编号：3529797
本文链接：https://www.wllwen.com/jingjilunwen/hongguanjingjilunwen/3529797.html
