基于深度学习的专利分类方法研究
发布时间：2021-10-20 16:46
作为科技载体的专利文本中蕴含了丰富的背景、技术、功能、效应等知识。采用功能-效应-专利的检索方式,就可以借鉴不同领域专利中的原理和方法,从而打破思维惯性,为产品设计者提供类似的专利进行参考。目前挖掘专利与效应对应关系的方法以概念图匹配为主,存在匹配容错性差、实用性差的问题。近两年来,用深度学习模型解决文本分类问题变得很受关注,它被证明在特征提取和文本表示方面有着很大的优势。目前基于循环神经网络的分类方法存在梯度消失和语义信息丢失的问题,而注意力机制能够给文本中的关键部分分配更多的注意力,突出其重要性。本文提出一种包含多个基于注意力机制的双向LSTM模型（BiLSTMATT）的专利效应分类算法。通过分析效应在专利中的位置,本文算法将专利文本的摘要、权利要求说明书、发明内容、具体实施方式四部分内容分别作为BiLSTMATT的原始输入,学习得到的四部分特征以不同的权重融合作为专利文本特征。将功能作为LSTM模型的原始输入,训练得到功能特征。然后,将专利文本特征与功能特征进行融合作为专利效应分类的总体特征,...
【文章来源】：河北工业大学天津市 211工程院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
word2vec训练后得到的词典
河北工业大学硕士学位论文-31-0.15，0.35，0.3，0.05]]。在其它参数保持不变的情况下，隐藏层的节点个数n约为120的时候准确率最佳。除迭代次数epoch之外的参数保持初始值的情况下，随着迭代次数的增加，准确率也随之增大，但是迭代次数为20时，准确率达到最佳。同理得到学习率的最佳取值为0.1。如图5.1所示，在d3的概率分布下，效果最佳，即摘要、权利要求说明书、发明内容、具体实施方式、功能按照0.15，0.1，0.35，0.3，0.1的概率分布时效果最佳。图5.1交叉验证调参结果图5.1.3实验具体设计为了检验本文设计的模型对于专利效应分类的效果，本文主要设计了3类实验：（1）基于机器学习的分类实验本文采用经典的分类训练算法LR和SVM进行实验。这里通过sklearn库调用svm包中的SVC和linear_model包中LogisticRegression分别实现SVM算法和LR算法。这是因为Sklearn库提供了很多的默认参数，对LR和SVM涉及的参数调节相对较少，并且调节起来也方便，适合于进行分类方面的研究。其中SVC表示通过实现二分类的方法进行多分类[49]。若n_class是类别的数量，就必须建立n*n/2个分类器，而desision_function_shape参数则允许集成二分类器对样本进行多分类的操作。
河北工业大学硕士学位论文-35-5.3.2应用展示在此采用页面展示的方式说明以上案例的使用和新专利文本的分析。本文采用Django框架和MySQL数据库实现算法部分、后台数据库部分与前台的交互。（1）新专利文本的分析页面如图5.2所示，输入的信息包含专利原名称、专利号、摘要、权利要求说明书、发明内容、具体实施方式以及专利的功能等内容。图5.2效应分析界面输入需要输入的文本内容，点击“分析”按钮，摘要、权利要求说明书、发明内容、具体实施方式、专利功能这五部分的文本，就会调用后台算法自动分析出该专利
【参考文献】：
期刊论文
[1]中文文本特征选择方法研究综述[J]. 徐泓洋,杨国为. 工业控制计算机. 2017(11)
[2]基于卷积神经网络和KNN的短文本分类算法研究[J]. 殷亚博,杨文忠,杨慧婷,许超英. 计算机工程. 2018(07)
[3]基于word embedding的短文本特征扩展与分类[J]. 孟欣,左万利. 小型微型计算机系统. 2017(08)
[4]基于加权word2vec的微博情感分析[J]. 李锐,张谦,刘嘉勇. 通信技术. 2017(03)
[5]基于递归神经网络的文本分类研究[J]. 黄磊,杜昌顺. 北京化工大学学报(自然科学版). 2017(01)
[6]基于主题扩展的领域问题分类方法[J]. 张青,吕钊. 计算机工程. 2016(09)
[7]基于功能基的专利信息挖掘与自动分类实验研究[J]. 刘龙繁,李彦,侯超异,李文强. 四川大学学报(工程科学版). 2016(05)
[8]基于摘要文本的专利快速自动分类方法[J]. 缪建明,贾广威,张运良. 情报理论与实践. 2016(08)
[9]国际专利分类表中设计知识的提取和利用[J]. 冀瑜,邱清盈,冯培恩,黄浩. 浙江大学学报(工学版). 2016(03)
[10]基于知识粒度的TRIZ在创新设计中的应用[J]. 刘龙繁,李彦,马金龙,杜晓娇,刘红围. 机械工程学报. 2016(05)
博士论文
[1]专利知识获取及其支持概念创新设计的方法研究[D]. 王朝霞.浙江大学 2009
硕士论文
[1]文本表示模型和特征选择算法研究[D]. 陈磊.中国科学技术大学 2017
[2]基于词分布的文本表示研究[D]. 陈志鹏.苏州大学 2017
[3]基于深度神经网络模型的句子级文本情感分类研究[D]. 徐莹莹.深圳大学 2016
[4]基于深度学习理论与方法的中文专利文本自动分类研究[D]. 马双刚.江苏大学 2016
[5]基于Attention-Based LSTM模型的文本分类技术的研究[D]. 张冲.南京大学 2016
本文编号：3447259
【文章来源】：河北工业大学天津市 211工程院校
【文章页数】：56 页
【学位级别】：硕士
【部分图文】：
word2vec训练后得到的词典
河北工业大学硕士学位论文-31-0.15，0.35，0.3，0.05]]。在其它参数保持不变的情况下，隐藏层的节点个数n约为120的时候准确率最佳。除迭代次数epoch之外的参数保持初始值的情况下，随着迭代次数的增加，准确率也随之增大，但是迭代次数为20时，准确率达到最佳。同理得到学习率的最佳取值为0.1。如图5.1所示，在d3的概率分布下，效果最佳，即摘要、权利要求说明书、发明内容、具体实施方式、功能按照0.15，0.1，0.35，0.3，0.1的概率分布时效果最佳。图5.1交叉验证调参结果图5.1.3实验具体设计为了检验本文设计的模型对于专利效应分类的效果，本文主要设计了3类实验：（1）基于机器学习的分类实验本文采用经典的分类训练算法LR和SVM进行实验。这里通过sklearn库调用svm包中的SVC和linear_model包中LogisticRegression分别实现SVM算法和LR算法。这是因为Sklearn库提供了很多的默认参数，对LR和SVM涉及的参数调节相对较少，并且调节起来也方便，适合于进行分类方面的研究。其中SVC表示通过实现二分类的方法进行多分类[49]。若n_class是类别的数量，就必须建立n*n/2个分类器，而desision_function_shape参数则允许集成二分类器对样本进行多分类的操作。
河北工业大学硕士学位论文-35-5.3.2应用展示在此采用页面展示的方式说明以上案例的使用和新专利文本的分析。本文采用Django框架和MySQL数据库实现算法部分、后台数据库部分与前台的交互。（1）新专利文本的分析页面如图5.2所示，输入的信息包含专利原名称、专利号、摘要、权利要求说明书、发明内容、具体实施方式以及专利的功能等内容。图5.2效应分析界面输入需要输入的文本内容，点击“分析”按钮，摘要、权利要求说明书、发明内容、具体实施方式、专利功能这五部分的文本，就会调用后台算法自动分析出该专利
【参考文献】：
期刊论文
[1]中文文本特征选择方法研究综述[J]. 徐泓洋,杨国为. 工业控制计算机. 2017(11)
[2]基于卷积神经网络和KNN的短文本分类算法研究[J]. 殷亚博,杨文忠,杨慧婷,许超英. 计算机工程. 2018(07)
[3]基于word embedding的短文本特征扩展与分类[J]. 孟欣,左万利. 小型微型计算机系统. 2017(08)
[4]基于加权word2vec的微博情感分析[J]. 李锐,张谦,刘嘉勇. 通信技术. 2017(03)
[5]基于递归神经网络的文本分类研究[J]. 黄磊,杜昌顺. 北京化工大学学报(自然科学版). 2017(01)
[6]基于主题扩展的领域问题分类方法[J]. 张青,吕钊. 计算机工程. 2016(09)
[7]基于功能基的专利信息挖掘与自动分类实验研究[J]. 刘龙繁,李彦,侯超异,李文强. 四川大学学报(工程科学版). 2016(05)
[8]基于摘要文本的专利快速自动分类方法[J]. 缪建明,贾广威,张运良. 情报理论与实践. 2016(08)
[9]国际专利分类表中设计知识的提取和利用[J]. 冀瑜,邱清盈,冯培恩,黄浩. 浙江大学学报(工学版). 2016(03)
[10]基于知识粒度的TRIZ在创新设计中的应用[J]. 刘龙繁,李彦,马金龙,杜晓娇,刘红围. 机械工程学报. 2016(05)
博士论文
[1]专利知识获取及其支持概念创新设计的方法研究[D]. 王朝霞.浙江大学 2009
硕士论文
[1]文本表示模型和特征选择算法研究[D]. 陈磊.中国科学技术大学 2017
[2]基于词分布的文本表示研究[D]. 陈志鹏.苏州大学 2017
[3]基于深度神经网络模型的句子级文本情感分类研究[D]. 徐莹莹.深圳大学 2016
[4]基于深度学习理论与方法的中文专利文本自动分类研究[D]. 马双刚.江苏大学 2016
[5]基于Attention-Based LSTM模型的文本分类技术的研究[D]. 张冲.南京大学 2016
本文编号：3447259
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3447259.html
