NLP技术在农业舆情分析系统中的应用研究

发布时间：2023-11-24 22:14

　　随着互联网信息技术的飞速发展,各大新闻媒体都将互联网作为信息传递的主要途径,互联网也成为了人们获取新闻的首选方式。互联网为我们带来便捷的同时,也带来了一些问题。由于互联信息传播的速度非常的迅速,对于其中的负面新闻甚至是谣言,若不及时进行处理,不加以关注,会导致各类不实信息迅速在互联网上传播,造成较大的社会影响。为了避免此类情况出现,利用互联网及时的对互联网舆情进行监控变得非常的迫切。通过舆情监控,可以更快的发现近期的新闻热点,及时对负面事件进行正确的引导,避免造成更大的社会影响。本文的研究基于国家农产品追溯系统,为了更好的监控农业相关的舆情,帮助农业部工作人员进行农产品的舆情预警,研究了农业舆情系统的设计与实现。在研究中,从农业舆情系统需求出发,选取了中国农业新闻网,中国农产品网等农业新闻相关的网站作为舆情系统的数据源。使用词向量(Word Embedding)和LightGBM建立了农业新闻文本分类模型,识别出其中农业相关的新闻。使用TF-IDF(Term Frequency–Inverse Document Frequency)和岭回归(Ridge Regression)建立文本分...

【文章页数】：88 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 课题背景及研究意义
    1.2 研究现状
    1.3 研究内容
    1.4 论文组织结构
第2章 相关技术概述
    2.1 文本分类相关技术
        2.1.1 预处理
        2.1.2 特征工程
        2.1.3 模型
    2.2 关键词提取相关技术
        2.2.1 TF-IDF算法
        2.2.2 TextRank算法
        2.2.3 Rake算法
    2.3 文本摘要提取技术
        2.3.1 TextRank文本摘要算法
        2.3.2 基于簇的文本摘要算法
    2.4 本章小结
第3章 舆情分类模型
    3.1 农业新闻识别模型
        3.1.1 预处理
        3.1.2 基于词向量改进的文本表示方法
        3.1.3 基于局部词向量改进的TextCNN模型
        3.1.4 实验与分析
    3.2 负面新闻识别模型
        3.2.1 基于情感词典的方法
        3.2.2 情感加权TF-IDF的方法
        3.2.3 实验与分析
    3.3 本章小结
第4章 新闻关键词提取模型
    4.1 关键词提取算法
    4.2 基于条件概率改进的关键词提取算法
    4.3 基于共现矩阵改进的关键词短语检测方法
    4.4 实验与分析
    4.5 本章小结
第5章 新闻摘要提取模型
    5.1 基于簇的文本摘要方法
    5.2 基于TF-IDF改进的文本摘要方法
    5.3 实验与分析
    5.4 本章小结
第6章 舆情分析系统设计与实现
    6.1 背景介绍
    6.2 需求分析
    6.3 整体结构
    6.4 舆情采集系统
        6.4.1 网站内容分析
        6.4.2 网页结构分析
        6.4.3 代码实现
        6.4.4 数据完整性校验和格式转换
        6.4.5 数据库字段定义
    6.5 舆情分析系统
        6.5.1 新闻发生区域识别
        6.5.2 农产品名称和行业识别
    6.6 应用系统
        6.6.1 新闻查询模块
        6.6.2 新闻态势分析模块
        6.6.3 新闻热点分析模块
        6.6.4 负面新闻分析模块
        6.6.5 新闻来源分析模块
        6.6.6 新闻来源管理模块
        6.6.7 负面舆情关键词设置
    6.7 本章小结
结论
参考文献
攻读硕士学位期间取得的研究成果
致谢



本文编号：3866694