高校网络舆情监控系统设计与实现
发布时间：2021-09-03 12:06
随着互联网的应用日益普及化,互联网平台已经成为高校在校生发表意见、沟通交流的主要平台。大学生利用互联网形成的网络舆论群,对社会舆论的产生和传播有着越来越重要的影响,已经到了必须加强监管的地步。本文根据当前需要加强对高校网络言论进行监管的现实需求,设计了基于互联网的高校舆情分析系统,通过对网络舆论的动态监测,实现对网络舆情的有效监管和正确引导。在对互联网舆情分析系统研究开发的现状进行了分析和总结、对若干舆情分析系统的关键技术分析的基础上,针对高校互联网舆情分析系统建设的实际需求,本文开展了以下几方面的工作:1.针对高校对网络舆情的监测需求做了认真的分析,根据分析的结果,对舆情监控系统的架构进行了整体设计。具体地,按照功能需求分析结果,完成了各个模块的设计,将系统分成四大模块:采集模块、预处理模块、分析模块和管理模块。以SQLServer作为后台数据库,完成了相应的舆情信息数据库设计。2.研究并实现了舆情信息预处理、舆情分析算法,包括网页去噪、文本聚类和分类、中文分词、话题识别等。针对高校网络舆情中所表达的情感问题,构建了情感词典,研究和实现了基于情感本体的的情感倾向性判别算法。3.采用J...
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２．１通用网络爬虫工作流程图??通用网络爬虫的局限性是：由于爬取的网络覆盖范围很大，往往会抓取大量价值不??
爬取下载相关页面。爬虫爬取到页面后，利用自己的解析器，对页面执行去噪操作（如??除去ＵＲＬ标记），执行分词和提取摘要，形成摘要文本，保存到数据库中。同时提取页??面中ＵＲＬ，保存到ＵＲＬ列表中。其工作流程图如图２．１所示。??＜准备＞???＾?ｒ＿???初始ＵＲＬ??！??！???＾?［???＠取网页???＾?ｒ???｜提取新ＵＲＬ放人丨??［?ＵＲＬ队列?１??Ｎ??￣二止操作￥＞??图２．１通用网络爬虫工作流程图??通用网络爬虫的局限性是：由于爬取的网络覆盖范围很大，往往会抓取大量价值不??高的网页。信息含量大、具有一定结构的数据不能被很好地获取，也难以实现语义信息??的获取。总体来说，通用网络爬虫在网页爬取的数量、质量和实效性方面难以做到兼顾。??主题爬虫，根据既定的主题目标，有选择的爬取与主题相关的页面，因而爬取的信??息更为准确。主题爬虫需要解决的关键问题：如何判定抓取的页面与主题相关，如果过??滤到与主题不相关的页面。主题爬虫的爬取过程如图２．２所示。??８??
Ｗｅｂ页面中含有大量的超文本标记（即ＨＴＭＬ标记），正是这些标记使文档在浏览??器中显示了不同的格式和风格，这些标记具有一定的层次结构，也使得Ｗｅｂ页面具有??一定的层次结构，我们可以利用这种层次性构建一个树，成为ＤＯＭ树，如图２．３所示。??在ＤＯＭ树中，根是Ｄｏｃｕｍｅｎｔｓ，即文档，这也是网页解析工具的入口处。ＤＯＭ树中每??一个节点代表一个对象，由于对象众多，类型不同，所以解析工具需要多模型的分析方??法。在网页分析模型中，除了节点概念，还有如下概念：??文本节点（Ｔｅｘｔ?Ｎｏｄｅ）：该节点的功能是处理文档中的文本。??兀素（Ｅｌｅｍｅｎｔ）：?Ｎｏｄｅ的子对象，继承于节点Ｎｏｄｅ。??文档??＜ｈｔｍｌ＞??，??Ｉ??，??１?｜?｜?Ｉ??＜ｈｅａｄ＞?＜ｂｏｄｙ＞??１?Ｉ?Ｉ??ｔｉｔｌｅ?＜ｈｌ＞?＜ｄｉｖ＞??最简单的ＤＯＭ树结构模型?ＤＯＭ树结构?＜ａ＞????ＤＯＭ树结构?属性：ｈｒｅｆ??图２．３?Ｄｏｍ树结构??ＨｔｍｌＰａｒｓｅｒ是一个比较流行的页面解析程序，它由Ｊａｖａ编写，用来对ｈｔｍｌ文档进行??解析。它不仅可以提取文档中链接
【参考文献】：
期刊论文
[1]基于情感维度的大数据网络舆情情感倾向性分析研究——以“南昌大学自主保洁”微博舆情事件为例[J]. 王英,龚花萍. 情报科学. 2017(04)
[2]高职院校学生舆情监测工作机制的探索与研究——以浙江建设职业技术学院为例[J]. 朱婧. 教育教学论坛. 2016(29)
[3]校园网络舆情的监督、预警、干预和引导机制研究——以福建地区高职院校为例[J]. 邹禹涵,蔡雪敏,张智佳. 湖北函授大学学报. 2016(12)
[4]基于微博的情感倾向性分析方法研究[J]. 高凯,李思雨,阮冬茹,刘邵博,周二亮,乔世权. 中文信息学报. 2015(04)
[5]基于网络爬虫技术的舆情数据采集系统设计与实现[J]. 张明杰. 现代计算机(专业版). 2015(18)
[6]一种基于HowNet的词语语义相似度计算方法[J]. 范弘屹,张仰森. 北京信息科技大学学报(自然科学版). 2014(04)
[7]基于双语信息和标签传播算法的中文情感词典构建方法[J]. 李寿山,李逸薇,黄居仁,苏艳. 中文信息学报. 2013(06)
[8]高校网络舆情监测关键技术研究[J]. 吴晓倩,陈诚. 电脑知识与技术. 2013(16)
[9]基于主题发现的舆情分析系统的设计与实现[J]. 黄美璇. 北京联合大学学报(自然科学版). 2012(01)
[10]面向Web论坛的网络信息获取技术及系统实现[J]. 彭冬,蔡皖东. 计算机工程与科学. 2011(01)
硕士论文
[1]网络舆情监控与分析系统的设计与实现[D]. 邹妍.吉林大学 2015
[2]校园舆情分析中的意见挖掘技术研究[D]. 罗晶.东南大学 2015
[3]高职院校校园危机预警机制研究[D]. 仲臻.西北农林科技大学 2014
[4]基于高校BBS的舆情监测系统的研究与实现[D]. 刘晓飞.石家庄铁道大学 2013
[5]BBS准实时舆情监测技术研究与实现[D]. 栾文娟.华中科技大学 2012
[6]中文分词算法的研究与实现[D]. 林冬盛.西北大学 2011
[7]互联网教育舆情监测系统的设计与实现[D]. 王培顺.华中师范大学 2011
[8]基于Web舆情的意见挖掘关键技术研究[D]. 卫伟.电子科技大学 2011
[9]基于朴素贝叶斯的中文文本情感倾向分类研究[D]. 杨鼎.湖南工业大学 2010
[10]高校BBS舆情研究[D]. 吴迪.中央民族大学 2010
本文编号：3381081
【文章来源】：南京理工大学江苏省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２．１通用网络爬虫工作流程图??通用网络爬虫的局限性是：由于爬取的网络覆盖范围很大，往往会抓取大量价值不??
爬取下载相关页面。爬虫爬取到页面后，利用自己的解析器，对页面执行去噪操作（如??除去ＵＲＬ标记），执行分词和提取摘要，形成摘要文本，保存到数据库中。同时提取页??面中ＵＲＬ，保存到ＵＲＬ列表中。其工作流程图如图２．１所示。??＜准备＞???＾?ｒ＿???初始ＵＲＬ??！??！???＾?［???＠取网页???＾?ｒ???｜提取新ＵＲＬ放人丨??［?ＵＲＬ队列?１??Ｎ??￣二止操作￥＞??图２．１通用网络爬虫工作流程图??通用网络爬虫的局限性是：由于爬取的网络覆盖范围很大，往往会抓取大量价值不??高的网页。信息含量大、具有一定结构的数据不能被很好地获取，也难以实现语义信息??的获取。总体来说，通用网络爬虫在网页爬取的数量、质量和实效性方面难以做到兼顾。??主题爬虫，根据既定的主题目标，有选择的爬取与主题相关的页面，因而爬取的信??息更为准确。主题爬虫需要解决的关键问题：如何判定抓取的页面与主题相关，如果过??滤到与主题不相关的页面。主题爬虫的爬取过程如图２．２所示。??８??
Ｗｅｂ页面中含有大量的超文本标记（即ＨＴＭＬ标记），正是这些标记使文档在浏览??器中显示了不同的格式和风格，这些标记具有一定的层次结构，也使得Ｗｅｂ页面具有??一定的层次结构，我们可以利用这种层次性构建一个树，成为ＤＯＭ树，如图２．３所示。??在ＤＯＭ树中，根是Ｄｏｃｕｍｅｎｔｓ，即文档，这也是网页解析工具的入口处。ＤＯＭ树中每??一个节点代表一个对象，由于对象众多，类型不同，所以解析工具需要多模型的分析方??法。在网页分析模型中，除了节点概念，还有如下概念：??文本节点（Ｔｅｘｔ?Ｎｏｄｅ）：该节点的功能是处理文档中的文本。??兀素（Ｅｌｅｍｅｎｔ）：?Ｎｏｄｅ的子对象，继承于节点Ｎｏｄｅ。??文档??＜ｈｔｍｌ＞??，??Ｉ??，??１?｜?｜?Ｉ??＜ｈｅａｄ＞?＜ｂｏｄｙ＞??１?Ｉ?Ｉ??ｔｉｔｌｅ?＜ｈｌ＞?＜ｄｉｖ＞??最简单的ＤＯＭ树结构模型?ＤＯＭ树结构?＜ａ＞????ＤＯＭ树结构?属性：ｈｒｅｆ??图２．３?Ｄｏｍ树结构??ＨｔｍｌＰａｒｓｅｒ是一个比较流行的页面解析程序，它由Ｊａｖａ编写，用来对ｈｔｍｌ文档进行??解析。它不仅可以提取文档中链接
【参考文献】：
期刊论文
[1]基于情感维度的大数据网络舆情情感倾向性分析研究——以“南昌大学自主保洁”微博舆情事件为例[J]. 王英,龚花萍. 情报科学. 2017(04)
[2]高职院校学生舆情监测工作机制的探索与研究——以浙江建设职业技术学院为例[J]. 朱婧. 教育教学论坛. 2016(29)
[3]校园网络舆情的监督、预警、干预和引导机制研究——以福建地区高职院校为例[J]. 邹禹涵,蔡雪敏,张智佳. 湖北函授大学学报. 2016(12)
[4]基于微博的情感倾向性分析方法研究[J]. 高凯,李思雨,阮冬茹,刘邵博,周二亮,乔世权. 中文信息学报. 2015(04)
[5]基于网络爬虫技术的舆情数据采集系统设计与实现[J]. 张明杰. 现代计算机(专业版). 2015(18)
[6]一种基于HowNet的词语语义相似度计算方法[J]. 范弘屹,张仰森. 北京信息科技大学学报(自然科学版). 2014(04)
[7]基于双语信息和标签传播算法的中文情感词典构建方法[J]. 李寿山,李逸薇,黄居仁,苏艳. 中文信息学报. 2013(06)
[8]高校网络舆情监测关键技术研究[J]. 吴晓倩,陈诚. 电脑知识与技术. 2013(16)
[9]基于主题发现的舆情分析系统的设计与实现[J]. 黄美璇. 北京联合大学学报(自然科学版). 2012(01)
[10]面向Web论坛的网络信息获取技术及系统实现[J]. 彭冬,蔡皖东. 计算机工程与科学. 2011(01)
硕士论文
[1]网络舆情监控与分析系统的设计与实现[D]. 邹妍.吉林大学 2015
[2]校园舆情分析中的意见挖掘技术研究[D]. 罗晶.东南大学 2015
[3]高职院校校园危机预警机制研究[D]. 仲臻.西北农林科技大学 2014
[4]基于高校BBS的舆情监测系统的研究与实现[D]. 刘晓飞.石家庄铁道大学 2013
[5]BBS准实时舆情监测技术研究与实现[D]. 栾文娟.华中科技大学 2012
[6]中文分词算法的研究与实现[D]. 林冬盛.西北大学 2011
[7]互联网教育舆情监测系统的设计与实现[D]. 王培顺.华中师范大学 2011
[8]基于Web舆情的意见挖掘关键技术研究[D]. 卫伟.电子科技大学 2011
[9]基于朴素贝叶斯的中文文本情感倾向分类研究[D]. 杨鼎.湖南工业大学 2010
[10]高校BBS舆情研究[D]. 吴迪.中央民族大学 2010
本文编号：3381081
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3381081.html
