基于统计特征的Quality Phrase挖掘方法

发布时间：2024-11-07 20:39

　　 Quality Phrase挖掘是从文本语料库中提取有意义短语的过程,是文档摘要、信息检索等任务的基础。然而现有的无监督短语挖掘方法存在候选短语质量不高、Quality Phrase的特征权重平均分配的问题。本文提出基于统计特征的Quality Phrase挖掘方法,将频繁N-Gram挖掘、多词短语组合性约束及单词短语拼写检查相结合,保证了候选短语的质量;引入公共知识库对候选短语添加类别标签,实现了Quality Phrase特征权重的分配,并考虑特征之间相互影响设置惩罚因子调整权重比例;按照候选短语的特征加权函数得分排序,提取Quality Phrase。实验结果表明,基于统计特征的Quality Phrase挖掘方法明显提高了短语挖掘的精度,与最优的无监督短语挖掘方法相比,精确率、召回率及F1-Score分别提升了5.97%,1.77%和4.02%。

【文章页数】：16 页

【文章目录】：
引言
1相关定义
2 Quality Phrase评价准则
3基于统计特征的候选短语挖掘方法
    3.1频繁N?Gram短语挖掘
    3.2多词短语组合性约束
    3.3单词短语拼写检查
4基于统计特征的Quality Phrase选择方法
    4.1特征对Quality Phrase的贡献程度
    4.2特征之间相互影响
5实验验证
    5.1数据集
    5.2对比算法
    5.3评价指标
    5.4实验结果
        5.4.1组合性统计意义度量选择
        5.4.2候选短语挖掘阶段实验结果对比
        5.4.3本文算法与其他算法的对比
6结束语



本文编号：4011740