基于NLP和爬虫的在线文章阅读系统设计与实现

发布时间：2025-02-15 10:58

　　随着互联网的发展,越来越多的人们选择通过网络来获取信息,这使得很多文章以网页文本的形式展现在互联网中。不可避免地,很多重复的文本信息也出现在了互联网上,重复的文本导致人们的阅读体验下降,也导致了互联网上存储空间的冗余。本文通过对自然语言处理的研究,提出了一种多特征融合的文本相似度算法。通过该算法,可以快速对库里的文章进行筛选,将高度相似的文章标记,降低用户多次浏览到相同内容的文章的可能。本文还开发了一套在线文章阅读系统,应用了这种文本相似度算法。系统基于浏览器/服务器模型,后台基于Java语言,使用了比较流行的SSM框架,开发环境是Eclipse。前台基于Html+Vue.js框架,开发环境是Node.js+Microsoft Visual Studio Code。该系统能够实现阅读文章,用户登录,用户注册,阅读历史,信息更改的需求。

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图２．３?ＪＮＡ使用步骤图??大部分情况下，本地库都已经存在，即系统己经提供了相应的ｄｌｌ／ｓｏ文件，??不需要开发人员额外的代码，只需要直接调用

?第２章相关技术???（?刑台）??、态链接土一＾??ａ?编写项目需要的功??能，导出为ＤＬＬ文件??Ｉ??ｗ??将ＤＬＬ文件放在Ｊａｖａ项目中??ｕ??在Ｊａｖａ项目中创建接口类，使用??ＪＮＡ提供的Ｎａｔｉｖｅ方法加载ＤＬＬ文件??１??在接口类中声明??要使用的方法??ｃ结....

图３．２转换图??

?第３章多特征融合的文本相似度算法???独热表示向量?＿?变换矩阵Ｕ１?预测结果???１?变换矩阵Ｖ?分布式表不向量?????￣￣：——ｔｒ￣１?￣＾预??＾?＾?——？?——？测??？?—？?ｇ??程??Ｖ?Ｖ?Ｖ?Ｖ７?Ｖ７??输入层一层权重隐藏层二层权重输出层??图３．２转....

图４．５网站结构图??Ｉ首页??首页同时也作为门户站点，是前端系统的起始页

?第４章系统设计????（５＾５?巨??注册表单???—ｄｊＥ）?巨??登录表单???（用户４息页）?＾１??＾?用户信息表单???（阅读历史页）???ｆ文章情觅—？关联文章列表??￣￣ｉ！＂＂＂＂＂??????Ｃ文章＾索页）?１—＾??检索表单??图４．５网站结构图??Ｉ首页?....

图５．１?ＳｅｎＳｉｍ参数实验结果分析图??

?第５章系统实现及实验结果???５０００００?４３３１９０?０．９６??４５００００?４２６９２１??Ｉ，〇，９５５??■??■■??〇．９４５??Ｈ?０．９４??０．９３５??ｊ?－??＿Ｌ??一组?二组三结圈组?五组六组七组??耗Ｂ寸（ｍｓ）?＿?—?＿召回率??图５．１?Ｓ....

本文编号：4034201