基于网络爬虫的论坛数据分析系统的设计与实现

发布时间：2021-11-07 18:02

　　游戏论坛是一个重要的玩家建议反馈渠道,通常游戏开发者都需要密切关注论坛舆论风向来发现游戏中存在及潜在的问题,然而论坛数据质量参差不齐,人工从大量论坛帖子中发现收集有价值的帖子信息需要消耗一定的时间和精力,还容易出现纰漏,为了更加敏捷高效的对论坛玩家反馈的有效信息作出相关反馈,如何自动化获取论坛数据并对数据作出相关筛选分析成为提升工作效率的一个关键途径。该系统主要实现了对游戏建议反馈论坛数据的分析处理,包括数据提取,数据分析和分析结果展示三个主要模块。系统开发使用Python开发工具PyCharm与MySQL数据库管理系统,用到的相关Python库主要包括jieba自然语言处理工具库、操作MySQL数据库的PyMySQL库和用于绘制词云图的wordcloud库。系统通过网络爬虫将论坛数据内容爬取出来,利用Beautiful Soup库对数据进行解析,从中提取出待分析的数据并保存到数据库中,利用jieba库对待分析的数据进行中文分词处理,在此基础上对分词结果进行价值评分,并将结果通过html的形式展示出来,另外还可以根据不同筛选条件通过词云图展示出满足条件的高频词汇,使用户可以快速掌握论坛...

【文章来源】： 华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 主要内容和组织结构
2 相关技术分析
    2.1 网络爬虫
    2.2 Jieba自然语言处理工具库
    2.3 PyMySQL数据库连接技术
    2.4 本章小结
3 系统需求分析
    3.1 功能性需求分析
    3.2 非功能性需求分析
    3.3 本章小结
4 系统设计
    4.1 系统总体设计
    4.2 主要功能模块设计
    4.3 数据库设计
    4.4 本章小结
5 系统实现
    5.1 开发与运行环境
    5.2 数据提取模块实现
    5.3 数据分析模块实现
    5.4 分析结果展示模块实现
    5.5 系统测试与分析
    5.6 本章小结
6 总结与展望
    6.1 全文总结
    6.2 展望
致谢
参考文献


【参考文献】：
期刊论文
[1]基于聚焦型网络爬虫的影评获取技术 [J]. 高宇,杨小兵.  中国计量大学学报. 2018(03)
[2]网络爬虫技术原理 [J]. Kevin.  计算机与网络. 2018(10)
[3]中文语义特征属性扩展的视频推荐系统设计 [J]. 王星凯,邓浩江,赵震宇,盛益强.  网络新媒体技术. 2018(03)
[4]基于词联接的自然语言处理改进技术研究 [J]. 赵栋材,周雁.  计算机与网络. 2018(09)
[5]面向中文社交媒体语料的无监督新词识别研究 [J]. 张婧,黄锴宇,梁晨,黄德根.  中文信息学报. 2018(03)
[6]MySQL数据库中数据导入与导出探析 [J]. 詹重咏.  数字技术与应用. 2017(12)
[7]基于自然语言处理的微信智能客服系统研究 [J]. 崔文迪.  数字技术与应用. 2017(11)
[8]基于爬虫的数据监控系统 [J]. 董博,李翀,刘学敏,董科军.  计算机系统应用. 2017(10)
[9]基于微博的细粒度情感分析 [J]. 敦欣卉,张云秋,杨铠西.  数据分析与知识发现. 2017(07)
[10]基于深度神经网络的中文命名实体识别 [J]. 张海楠,伍大勇,刘悦,程学旗.  中文信息学报. 2017(04)



本文编号：3482307