基于深度神经网络的数据挖掘算法及其应用研究
发布时间：2021-11-19 13:01
在当今的大数据和人工智能时代,数据、算法和算力尤为重要。从海量数据中设计算法挖掘出“数据关联”后的知识,可视化其价值,这是数据挖掘研究的核心。在数据挖掘算法中,神经网络在分析处理文本、图像、音频等数字信息中,是一种行之有效的数据分析、处理方法。基于此,本论文主要研究基于深度神经网络的数据挖掘算法以及数据挖掘算法在特定领域下的工程应用。主要工作概括如下:（1）神经网络的可解释性研究论文重点关注神经网络理论中的可解释性,主要分析了可解释性的主流研究方法和模型。基于文本分类任务,以fastText模型为基础,设计了具有结构可解释性质的拓展网络NNF。通过对比fastText和NNF在相同任务上的表现,发现NNF在各方面表现良好,具有一定的应用价值。（2）基于深度神经网络的数据挖掘算法研究论文主要研究了TextCNN文本分类算法、FP-Growth关联规则算法和LDA聚类算法。论文从TextCNN模型结构的角度分析,得出了其处理分类任务时的特点。并通过在特定数据集上训练并测试TextCNN,有效证明了TextCNN的应用效果。同时,通过在相同数据集下对比分析fastText、NNF和TextC...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
(d)，本文着重基于神经网络的数据挖掘算法，以文本分类任务为目标，研究一种以fastText[4]模型为基础的新型神经网络NNF及其可解释性
电子科技大学硕士学位论文82.1.2深度神经网络的特点诚然，与日俱增的数据量、模型规模以及输出结果精度成就了深度神经网络的成功应用和大规模普及。深度神经网络特点可主要归结如下：非线性变换。诸如矩阵分解、分解机、稀疏线性模型之类的常规方法本质上是线性模型，而作为这些传统模型基础的线性假设往往过于简单，并极大地限制其建模的表达性。与线性模型相反，深度神经网络能够利用诸如sigmoid、tanh和relu等激活函数对数据进行非线性建模，如图2-2所示。图2-2三种典型的激活函数图像示意(a)Sigmoid函数:k-e11；(b)tanh函数:kke1e122；(c)ReLU函数:)0()0(0kkk(c)(a)(b)
第三章神经网络及其可解释性25子网络对应负责一个特定的子任务，该模型在功能和结构上都是可区分的；（3）与随机森林不同，该模型具有更强的可扩展性，且基于fastText模型的特点，该模型可快速解决文本数据的分类问题；（4）一旦模型完成了训练，一个可解释的机制就已经存在了，因为各类别信息在各子网络中，均被很好地分开了。应该注意到，之前发布的一些类似的模型有不同的训练方式。例如，这些模型将首先对数据进行多个循环的洗牌和子采样，然后基于这些子数据集建立每个神经网络，这对可解释模型来说是一个灾难。由于训练数据混乱，无法区分它在每个网络中学到了什么。此外，投票机制使得预测过程更加混乱，甚至可能因为随机子样本而导致非常冗长的结果。3.2.4实验结果及分析实验选取了THUCNews的一个子集进行训练和测试。使用了其中的八个类别，每个分类下有6500条短文本数据。划分训练集为5000*8，验证集为500*8，测试集为1000*8。如图3-4（a）和3-4（c）所示，在相同的数据集下，NNF比fastText有更高的隐含层输入层输出层子网络1......隐含层输入层输出层子网络2隐含层输入层输出层子网络N图3-3NNF网络结构
【参考文献】：
期刊论文
[1]A Survey about Algorithms Utilized by Focused Web Crawler[J]. Yong-Bin Yu,Shi-Lei Huang,Nyima Tashi,Huan Zhang,Fei Lei,Lin-Yang Wu. Journal of Electronic Science and Technology. 2018(02)
[2]数据挖掘中分类算法综述[J]. 李玲俐. 重庆师范大学学报(自然科学版). 2011(04)
本文编号：3505095
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
(d)，本文着重基于神经网络的数据挖掘算法，以文本分类任务为目标，研究一种以fastText[4]模型为基础的新型神经网络NNF及其可解释性
电子科技大学硕士学位论文82.1.2深度神经网络的特点诚然，与日俱增的数据量、模型规模以及输出结果精度成就了深度神经网络的成功应用和大规模普及。深度神经网络特点可主要归结如下：非线性变换。诸如矩阵分解、分解机、稀疏线性模型之类的常规方法本质上是线性模型，而作为这些传统模型基础的线性假设往往过于简单，并极大地限制其建模的表达性。与线性模型相反，深度神经网络能够利用诸如sigmoid、tanh和relu等激活函数对数据进行非线性建模，如图2-2所示。图2-2三种典型的激活函数图像示意(a)Sigmoid函数:k-e11；(b)tanh函数:kke1e122；(c)ReLU函数:)0()0(0kkk(c)(a)(b)
第三章神经网络及其可解释性25子网络对应负责一个特定的子任务，该模型在功能和结构上都是可区分的；（3）与随机森林不同，该模型具有更强的可扩展性，且基于fastText模型的特点，该模型可快速解决文本数据的分类问题；（4）一旦模型完成了训练，一个可解释的机制就已经存在了，因为各类别信息在各子网络中，均被很好地分开了。应该注意到，之前发布的一些类似的模型有不同的训练方式。例如，这些模型将首先对数据进行多个循环的洗牌和子采样，然后基于这些子数据集建立每个神经网络，这对可解释模型来说是一个灾难。由于训练数据混乱，无法区分它在每个网络中学到了什么。此外，投票机制使得预测过程更加混乱，甚至可能因为随机子样本而导致非常冗长的结果。3.2.4实验结果及分析实验选取了THUCNews的一个子集进行训练和测试。使用了其中的八个类别，每个分类下有6500条短文本数据。划分训练集为5000*8，验证集为500*8，测试集为1000*8。如图3-4（a）和3-4（c）所示，在相同的数据集下，NNF比fastText有更高的隐含层输入层输出层子网络1......隐含层输入层输出层子网络2隐含层输入层输出层子网络N图3-3NNF网络结构
【参考文献】：
期刊论文
[1]A Survey about Algorithms Utilized by Focused Web Crawler[J]. Yong-Bin Yu,Shi-Lei Huang,Nyima Tashi,Huan Zhang,Fei Lei,Lin-Yang Wu. Journal of Electronic Science and Technology. 2018(02)
[2]数据挖掘中分类算法综述[J]. 李玲俐. 重庆师范大学学报(自然科学版). 2011(04)
本文编号：3505095
本文链接：https://www.wllwen.com/guanlilunwen/xiangmuguanli/3505095.html
