用于网络舆情分析的深度学习自然语言处理系统

发布时间：2021-11-20 19:49

　　随着互联网的高速发展,网络社交信息爆炸式增长的同时也带来了网络舆情分析的问题。传统的网络舆情分析模式采用的是词库的方式,语料直接与词库进行比对后进行判断。这种方式由于中文的复杂性,例如存在近音词、同义词、缩略词、暗语等非规范中文表达,使得舆情分析的效果不佳。结合深度学习来对语料进行处理,可以有效的提高对非规范中文表达进行分析时结果的准确性。本文根据这一方法,深入研究基于深度学习的自然语言处理,以求在分析自然语言的词相似性中得到更准确的结果,并结合这一方法开发用于网络舆情分析的深度学习自然语言处理系统,本文研究内容主要包括以下部分。基于python的Scrapy网络爬虫研究。本系统将使用网络爬虫获取网络实时语料数据保证数据库的时效性,通过这种方式可以有效的提高自然语言处理对非规范性语言的覆盖程度,提高分析的效果;搭建语料数据库服务器。本文在处理数据的过程中需要不断地更新现有的语料库,所以需要搭建语料数据库用于存储实时的语料数据,并在数据库中完成对语料数据的初步处理,通过正则表达式和分词得到可以用于深度学习的数据;基于TensorFlow的自然语言处理深度学习算法设计与实现。本文采用了一种... 

【文章来源】：湖北工业大学湖北省

【文章页数】：51 页

【学位级别】：硕士

【部分图文】：

MySQL数据库贴吧语料网络爬虫是为贴吧语料数据爬取而专门编写的爬虫程序，整个系统

湖北工业大学硕士学位论文33中两词相似度如图4.4所示，其中包括两个词语的输入框、一个显示结果按钮和一个结果显示框。语料分词如图4.5所示，其中包括一个语料输入框、两个选择键、一个显示结果按钮和一个结果显示框。语料分词如图4.6所示，其中包括一个语料输入框、一个显示结果按钮和一个结果显示框。软件的工具栏包括两个按钮，一个是选项一个是帮助，这两个按钮点击后如图4.7，图4.8所示显示下拉菜单。图4.4两词相似度标签页图4.5语料分词标签页图4.6相似词top5标签页

湖北工业大学硕士学位论文33中两词相似度如图4.4所示，其中包括两个词语的输入框、一个显示结果按钮和一个结果显示框。语料分词如图4.5所示，其中包括一个语料输入框、两个选择键、一个显示结果按钮和一个结果显示框。语料分词如图4.6所示，其中包括一个语料输入框、一个显示结果按钮和一个结果显示框。软件的工具栏包括两个按钮，一个是选项一个是帮助，这两个按钮点击后如图4.7，图4.8所示显示下拉菜单。图4.4两词相似度标签页图4.5语料分词标签页图4.6相似词top5标签页

【参考文献】：
期刊论文
[1]基于HowNet的语义表示学习[J]. 朱靖雯,杨玉基,许斌,李涓子.  中文信息学报. 2019(03)
[2]多种算法对不同中文文本分类效果比较研究[J]. 陈慧,田大钢,冯成刚.  软件导刊. 2019(05)
[3]基于How-net的词语语义相似度算法[J]. 马永起,韩德培,蒙立荣,余杰,程铮.  计算机工程. 2018(06)
[4]基于路径与词林编码的词语相似度计算方法[J]. 王松松,高伟勋,徐逸凡.  计算机工程. 2018(10)
[5]基于信息内容的词林词语相似度计算[J]. 彭琦,朱新华,陈意山,孙柳,李飞.  计算机应用研究. 2018(02)
[6]基于路径与深度的同义词词林词语相似度计算[J]. 陈宏朝,李飞,朱新华,马润聪.  中文信息学报. 2016(05)
[7]HowNet与CCD映射方法研究[J]. 向春丞,穗志方,詹卫东.  中文信息学报. 2015(03)
[8]汉语语义选择限制知识的自动获取研究[J]. 贾玉祥,王浩石,昝红英,俞士汶,王治敏.  中文信息学报. 2014(05)
[9]基于大规模语料库的汉语词义相似度计算方法[J]. 石静,吴云芳,邱立坤,吕学强.  中文信息学报. 2013(01)
[10]基于词林的词语相似度的度量[J]. 吕立辉,梁维薇,冉蜀阳.  现代计算机(专业版). 2013(01)

硕士论文
[1]词语相似度计算及其在语义选择限制知识获取中的应用研究[D]. 赵倩倩.郑州大学 2018



本文编号：3507999