基于深度学习的中文专利自动分类方法研究

发布时间：2021-12-17 01:30

　　[目的/意义]面向当前国内专利审查和专利情报分析工作中对于海量专利分类的客观需求,设计了7种基于深度学习的专利自动分类方法,对比各种方法的分类效果,从而助力专利分类效率和效果的提升。[方法/过程]针对传统机器学习方法存在的缺陷,基于Word2Vec、CNN、RNN、Attention机制等深度学习技术,考虑专利文本语序特征、上下文特征以及分类关键特征,设计Word2Vec+TextCNN、Word2Vec+GRU、Word2Vec+BiGRU、Word2Vec+BiGRU+TextCNN等7种深度学习模型,以中国专利为例,选取IPC主分类号的"部"作为分类依据,对比这7种模型与3种传统分类模型在中文专利分类任务中的效果。[结果/结论]实证研究效果显示,采用考虑语序特征、上下文特征及强化关键特征的深度学习方法进行中文专利分类具有更优的分类效果。 

【文章来源】：图书情报工作. 2020,64(10)北大核心CSSCI

【文章页数】：11 页

【部分图文】：

专利自动分类流程

(1)深度学习模型的效果基本优于经典机器学习模型。除Word2Vec+ANN和Word2Vec+ATT外的深度学习模型的准确率、召回率和F1值均高于0.8,而三种经典机器学习模型的指标均低于0.8。由于ANN特征表示能力相对较弱、直接在词向量的基础上引入Attention机制不能较好地表示隐藏特征,Word2Vec+ANN和Word2Vec+ATT的效果在所有深度学习模型中表现最低,其效果仍旧显著优于TFIDF+DT和TFIDF+RF,这表明通过对文本向量做特征提取和强化对分类结果的优化具有一定促进作用。(2)考虑上下文特征和语序特征对于分类效果提升有积极作用。TextCNN模型基于卷积神经网络对专利文本进行上下文的特征抽取和强化;GRU模型对专利文本进行正向序列建模,强化了上文的序列特征;BiGRU模型对专利文本进行双向建模,强化了上下文的序列特征。这些特征的考虑使得Word2Vec+TextCNN、Word2Vec+GRU和Word2Vec+BiGRU均取得了高于0.8的指标得分。在此基础上,将BiGRU和TextCNN模型进行结合,对双向语序特征建模同时考虑上下文特征取得了优于单纯使用TextCNN和BiGRU的模型效果。

TextCNN结构

【参考文献】：
期刊论文
[1]基于深度学习的专利分类方法[J]. 马建红,王瑞杨,姚爽,刘双耀.  计算机工程. 2018(10)
[2]基于卷积神经网络与随机森林算法的专利文本分类模型[J]. 胡杰,李少波,于丽娅,杨观赐.  科学技术与工程. 2018(06)
[3]基于多特征多分类器集成的专利自动分类研究[J]. 贾杉杉,刘畅,孙连英,刘小安,彭涛.  数据分析与知识发现. 2017(08)
[4]一种基于相似度的专利与产业类目映射模型——以《国际专利分类》与《国民经济行业分类》为例[J]. 田创,赵亚娟.  图书情报工作. 2016(20)
[5]基于功能基的专利信息挖掘与自动分类实验研究[J]. 刘龙繁,李彦,侯超异,李文强.  四川大学学报(工程科学版). 2016(05)
[6]面向TRIZ的专利自动分类研究[J]. 胡正银,方曙,文奕,张娴,梁田.  现代图书情报技术. 2015(01)
[7]依据TRIZ发明原理的中文专利自动分类[J]. 翟继强,王克奇.  哈尔滨理工大学学报. 2013(03)
[8]SVM-KNN组合改进算法在专利文本分类中的应用[J]. 李程雄,丁月华,文贵华.  计算机工程与应用. 2006(20)

硕士论文
[1]基于深度学习理论与方法的中文专利文本自动分类研究[D]. 马双刚.江苏大学 2016



本文编号：3539163