基于不平行语料库单语映射方法的跨语言文本分类研究

发布时间：2021-08-13 13:55

　　文本分类是自然语言处理中较为基础常见的任务,但由于词向量空间的单一性,使得分类系统不能在不同语言上通用。若分别对每种语言单独训练分类模型,则会导致大量的成本和时间问题;并且分类模型作为监督学习方法,需要大量的训练样本训练模型,而由于不同语言的资源分布不均,使得资源较少的语言无法构建单语言分类模型;另外,主流跨语言词嵌入模型需要依赖成本昂贵的平行语料库,在不同语种间拓展性差。因此,针对以上问题,本文对于分类系统,跨语言词嵌入等进行了深入的研究,提出引入注意力机制的单语言神经网络分类方法,与两种不基于平行语料库的跨语言文本分类方法,如下:（1）针对单语言分类,本文提出双向的GRU神经网络模型,并将注意力机制引入到分类模型中。通过与传统机器学习方法,以及注意力机制的对比实验,双向GRU模型以及注意力机制均对于分类模型有着不同程度的提升,由此,将该模型作为跨语言分类模型的基础。（2）针对不基于平行语料库的跨语言分类,本文提出仅使用单语言文本语料来构建双语词嵌入模型,而抛弃对平行语料库的依赖。在目前对抗学习的研究基础上,引入普鲁克分析方法和跨域相似度局部缩放的方法,来对对抗学习得到的结果进行微调... 

【文章来源】：云南大学云南省 211工程院校

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图２．３：降维展示空间内同义词与反义词分布??（左图为在英语单语空间内的分布情况，右图?

但大多数研宄都是在单一的特征分布上解决该问题。然而在文献［４４］中，作??者提出通过双方邻域（Ｑ，（奶ｃｓ／ｒ），，将给定字典的每个单词连接到另??一种语言的Ｋ阶最近邻。在这个双方邻域图中（如图４．３），示的是??映射词向量的Ｋ阶向量域，且该向量域中的Ｋ个向量均为目标语言词向量。??同理，Ｑｓ〇Ｖ）指的是目标语言词向量的Ｋ阶目标语言词向量域＾??３８??

因此源语言映射词向量与其Ｋ阶目标词向量的平均近似值为：??「ｒ（Ｄ＝?士?Ｚ?Ｃ０Ｓｄ，＞Ｖ）?（４．１八?＞Ｖｅｎ，ｄ＞??同理目标语言词向量与其Ｋ阶词向量的平均近似值为：??「“．？）＝士?Ｚ?ｃ〇ｓ（ｗ，：，）?（４－２最后，将公式整合起来，跨域距离计算公式为：??ＣＳＬＳ｛Ｗｘｓｒｃ，?ｙ，ｇｌ）?＝?２?ｏｏｓ｛Ｗｘｓｒｃ，?ｙｌｇｌ?）－ＶＴ｛?Ｗｘｓｒｃ）?－?Ｆｓ?ｉｙｌｇ，）?（４．３．３微调对抗模型??主，习习从语目语??

【参考文献】：
期刊论文
[1]基于TF-IDF特征提取的短文本分类方法[J]. 曹姗.  工业控制计算机. 2018(04)
[2]基于LSTM-Attention神经网络的文本特征提取方法[J]. 赵勤鲁,蔡晓东,李波,吕璐.  现代电子技术. 2018(08)
[3]结合注意力机制的长文本分类方法[J]. 卢玲,杨武,王远伦,雷子鉴,李莹.  计算机应用. 2018(05)
[4]稀疏正交普鲁克回归处理跨姿态人脸识别问题[J]. 张娟.  计算机科学. 2017(02)
[5]中文文本分类中TF-IDF方法的改进与应用[J]. 宋章浩.  科技展望. 2014(22)
[6]跨语言文本分类技术研究进展[J]. 高影繁,王惠临,徐红姣.  情报理论与实践. 2010(11)
[7]基于机器学习的文本分类技术研究进展[J]. 苏金树,张博锋,徐昕.  软件学报. 2006(09)

硕士论文
[1]基于词向量和主题向量的文本分类算法研究[D]. 郭宏运.华中科技大学 2016



本文编号：3340552