基于文本语义图的网页分类算法研究

发布时间：2020-09-29 18:43

　　伴随互联网的高速发展,互联网网页数量呈爆炸式增长。作为信息的载体,互联网上每时每刻都在产生大量主题各异的Web网页文本,数据量巨大,且内容越来越丰富。如何从海量的、动态的信息资源中获取所需的信息,成为一个重要的研究课题。Web网页分类技术能够实现对互联网中海量数据的快速检索、过滤、分类和归档,提高人们对于网络数据的利用率,降低搜索信息的时间,是网页大数据处理的基础。但基于统计的网页分类方法往往存在忽略词语语义和网页结构信息的问题,并且在分类过程中存在特征向量维度过高的现象,这会增加运算负担,进而影响分类效率。为了解决基于统计的网页分类算法存在的问题,提出一种基于网页文本语义图的Web网页分类算法。该算法通过搭建网页语义图来刻画网页语义信息,并在此基础上进行特征权值计算,进而实现网页分类,提高网页分类效率。同时,对特征选择算法做出改进,以进一步降低空间维度,增大信息密度。本文做了以下工作:(1)提出LP-TIF特征选择算法。论文针对TF-IDF算法中词频TF对网页文本内部信息表现不足的问题,提出一种在词频基础上融合词性、词位置等多个特征来表现词语对网页重要性的改进方法。然后引入词袋模式,利用同义词、相似词精简,对特征空间进行整合规范,进一步降低空间维度。(2)提出网页文本语义图搭建方法。论文提出一种兼顾词语相似性和文本相关性的网页语义图搭建方法。使用特征词词袋集作为语义图节点集,先利用词语相似性为语义图搭建相似边,然后提出一种新的基于共现词度量词语相关性的方法搭建相关边,最后对边进行合并,完成语义图搭建。(3)提出WordRank权值计算方法。论文在图结构的基础上,引入PageRank节点排序算法对特征节点权重进行计算,并结合文本语义图作为加权有向图的特点,针对节点权重和语义边权重对算法做出适应性改进,提出WordRank权重计算方法。最后分别对特征选择算法和基于网页文本语义图的网页分类算法的有效性进行验证。实验表明,相较于TF-IDF算法,基于LP-TIF和词袋的特征选择算法可有效降低空间维度,提高算法时间效率。并且,基于文本语义图的网页分类算法不仅能够很好的提高分类准确率,还可以优化网页分类效果,提高算法的稳定性。
【学位单位】：江苏科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP393.092;TP391.1
【文章目录】：
摘要
Abstract
第1章绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 论文主要工作及组织结构
第2章相关基础知识
    2.1 网页分类简述
        2.1.1 文本分类
        2.1.2 网页分类概述
    2.2 网页分类相关知识
        2.2.1 网页预处理
        2.2.2 网页特征选择
        2.2.3 网页向量表示
    2.3 网页语义图相关知识
        2.3.1 图模型简介
        2.3.2 语义词典
        2.3.3 关联规则
    2.4 本章小结
第3章基于LP-TIF和词袋的特征选择
    3.1 PL-TIF特征选择
        3.1.1 候选词集
        3.1.2 词性因子(POS)
        3.1.3 词位置因子(LOC)
        3.1.4 LP-TIF特征选择
        3.1.5 LP-TIF算法描述
    3.2 基于词袋的特征选择
        3.2.1 词袋的概念
        3.2.2 词袋的计算
        3.2.3 特征词集的词袋打包
        3.2.4 特征词集的词袋合并
        3.2.5 特征词袋集算法描述
    3.3 特征选择算法描述
    3.4 本章小结
第4章基于网页文本语义图的权值计算
    4.1 网页语义图简介
    4.2 网页语义图边搭建
        4.2.1 节点词的相似性
        4.2.2 相似边搭建
        4.2.3 节点词的共现性
        4.2.4 相关边搭建
    4.3 网页语义图模型搭建
        4.3.1 网页语义图整合
        4.3.2 网页语义图搭建算法描述
    4.4 基于网页语义图的权重计算
        4.4.1 PageRank算法
        4.4.2 WordRank基于边权重的改进
        4.4.3 WordRank基于节点权重的改进
        4.4.4 WordRank权重算法描述
    4.5 本章小结
第5章实验分析
    5.1 性能评价和实验环境
        5.1.1 性能评价指标
        5.1.2 实验环境及数据集
    5.2 基于语义图的网页分类算法评估实验
        5.2.1 基于文本语义图的网页分类系统框架
        5.2.2基于语义图网页分类有效性实验
    5.3特征选择有效性评估实验
        5.3.1 特征选择降维效果
        5.3.2 特征选择有效性评估
    5.4 本章小结
第6章总结与展望
    6.1 主要结论
    6.2 研究展望
参考文献
攻读学位期间发表的学术论文
致谢
中文详细摘要

【相似文献】