基于神经网络的藏语分词与词性标注研究

发布时间：2024-01-19 08:09

　　藏语信息技术的发展对藏语的科学研究,学科教育,以及藏族百姓生活都有着十分重要的作用和影响。随着信息技术多年的发展与进步,藏语信息技术中的语言学研究也取得了一定的成果。作为藏语信息技术语言学研究的基础和关键任务,藏语分词和词性标注对后续句法分析,文本分类,情感分类等自然语言处理任务有着直接的影响。使用传统的统计模型完成藏语分词和词性标注虽然可以取得较好的效果,但是人工构建特征会影响其在大规模数据集中的普适性。随着神经网络技术的发展,运用神经网络算法在自然语言处理领域进行研究已成为趋势。神经网络算法以其具有的信息分布存储、并行处理以及自学习能力等优点在自动提取序列特征,训练拟合大规模数据,以及充分利用GPU等硬件性能方面有着很强的优势。本文基于神经网络相关的算法,针对藏语分词和词性标注完成了以下工作:第一,在双向长短期记忆网络模型中引入卷积神经网络(Convolutional Neural Networks,CNN)和膨胀卷积迭代(Iterated Dilated CNN,IDCNN)算法对藏语进行分词并取得了良好的效果。通过不同算法框架对比验证了IDCNN作为特征提取器相比CNN可以提取...

【文章页数】：66 页

【学位级别】：硕士

本文编号：3879937