预训练深度学习架构下的语义地址匹配与语义空间融合模型研究
发布时间：2021-10-07 13:21
随着我国数字城市与智慧城市建设的不断开展,地址信息作为战略性的基础地理信息及空间数据资源,在人们日常生活中的作用愈发重要,而且在国家的经济建设、文化发展和社会管理等多方面也起到相当关键的作用。在各行各业的基于位置服务的大数据应用需求驱动下,我国各相关部门采集和积累了海量异构的地址数据。然而由于我国地址规范标准不统一以及人工采集与管理秩序的混乱,导致地址信息的解析和理解成为一大难题,也极大地限制了其在各个领域内的应用。因此,有必要从认知地址文本信息和理解地址语义知识的角度出发以形成地址语义模型,让其深入挖掘地址信息的语义特征内涵并适用于计算机的高性能运算。此外,地址特有的寻址属性使得理解和融合其语义与空间信息具有重要的理论价值和实践意义,也是当前的学术热点。针对现有的地址模型研究中所存在的语义信息表达不完善、信息智能化应用不充分以及相关任务场景泛化性弱的困境,本文利用了深度神经网络中的注意力机制及“预训练-微调”模式,将地址语义理解、语义地址匹配和空间语义融合等关联度较大的任务转为可计算的深度神经网络模型的搭建和优化问题。针对地址文本语料的特性,采用自监督学习构建深度学习架构以形成地址语...
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：165 页
【学位级别】：博士
【部分图文】：
地名匹配的神经网络架构（Santosetal.,2018）
浙江大学博士学位论文绪论13平台下构建了融合多距离信息的贝叶斯推理网络，提出了基于多准则评判的中文地址匹配方法（许普乐等，2017）。该研究显著提高了单句中文地址的匹配效率。上述中文地址匹配方法虽然启用了人工智能领域的方法，但其总体流程中仍少不了针对地址的语义特性进行复杂解析的过程。而在最近一两年内，很多国内研究者也使用了深层句子表征技术将每个地址映射为同一向量空间中具有固定大小长度的向量，因此省去了对地址元素做复杂的解析。此后受流行的句子表征模型的启发，有学者提出了一种基于深度语义地址表征的地址匹配方法（Shanetal.,2019）。该研究首先通过在网络上检索训练集中的每个地址的相关最新新闻，然后将这些新闻视为语料库来丰富地址的语义信息，并使用Word2Vec方法来训练单词向量。之后使用带有两个LSTM（Longshort-termmemory，长短时记忆网络）网络的编码解码器体系结构来学习地址字符串的语义矢量表征并对编码器-解码器模型中的地址进行上采样和子采样以提高鲁棒性。此外，该研究还在模型中应用了注意力机制，以在其语义表征中突出显示地址的重要特征。其地址编码器-解码器模型结构如图1.2所示：图1.2地址编码器-解码器模型结构示例（Shanetal.,2019）该研究者在两个真实中文地名地址数据集上进行了实验，实验结果表明，该模型在精度（高出5％）和召回率（高出8％）两个指标上都比之前最先进的方法更好。
浙江大学博士学位论文绪论14Linetal.（2019）则将地址匹配问题理解并转化成NLP中的一项任务，借鉴了深度文本匹配的先进模型进行语义地址匹配任务。该研究也分为两阶段进行，其中第一阶段也类似Shan研究中所用的方式，将Word2Vec模型应用于训练和获取地址元素的单词向量，并将输入的地址记录转换为其相应的向量表示形式。第二步则采用了深度文本匹配模型之一的增强顺序推理模型（ESIM）（Chenetal.,2016），在比较的地址记录（矢量格式）之间进行本地和全局推理，并确定是否他们匹配。ESIM的整体流程结构概况如图1.3所示。该研究通过将NLP中的深度学习架构引入地址匹配中，开发了一种有效且准确的语义地址匹配方法来填补之前研究所没有的空白。其不仅考虑地址记录之间的字面相似性，还强调基于地址“理解”的语义链接：无论所比较的地址记录是相似的，还是仅具有很少的文字重叠，该方法都能够获得较高的预测精度。图1.3增强顺序推理模型（ESIM）的整体流程结构（Linetal.,2019）总的来说，将NLP中先进的模型及方法应用到地址匹配正变得越来越流行。但是基本上目前所有相关的研究都还停留在提取语义特征加后续任务型模型的模式阶段。一来该模式使得地址的语义信息仍未得到充分的挖掘利用，二来任务型模型的设计相对独立；同时，上述的研究仍需要对地址要素进行解析，虽然该步骤已经越来越简化。
【参考文献】：
期刊论文
[1]基于BiLSTM-CRF的中文层级地址分词[J]. 程博,李卫红,童昊昕. 地球信息科学学报. 2019(08)
[2]智慧城市时空大数据云平台建设技术大纲研究[J]. 郝利娟,刘冬枝. 地理空间信息. 2019(06)
[3]基于条件随机场的非规范化中文地址解析方法[J]. 许也,申柏希,徐翔,李军. 地理与地理信息科学. 2019(02)
[4]城市地址模型概念框架的关键问题[J]. 张志军,邱俊武,亢孟军,毛海辰. 测绘通报. 2018(09)
[5]面向专业领域的中文分词方法[J]. 成于思,施云涛. 计算机工程与应用. 2018(17)
[6]基于空间语义的地理编码在智慧城市信息系统中的应用[J]. 康昆,李明峰,周醉,蔡炜珩. 现代测绘. 2018(03)
[7]大数据环境下基于贝叶斯推理的中文地名地址匹配方法[J]. 许普乐,王杨,黄亚坤,黄少芬,赵传信,陈付龙. 计算机科学. 2017(09)
[8]大数据驱动的地名信息获取与应用[J]. 张雪英,闾国年,杜咪,叶鹏. 现代测绘. 2017(02)
[9]基于条件随机场的中文地名识别方法[J]. 邬伦,刘磊,李浩然,高勇. 武汉大学学报(信息科学版). 2017(02)
[10]文本蕴含关系识别与知识获取研究进展及展望[J]. 郭茂盛,张宇,刘挺. 计算机学报. 2017(04)
博士论文
[1]深度神经网络下的规范化地址建设与语义空间模型研究[D]. 毛瑞琛.浙江大学 2019
[2]文本语义相似度计算方法研究[D]. 刘宏哲.北京交通大学 2012
硕士论文
[1]基于空间场景相似性的投诉地址推荐[D]. 万海翔.武汉大学 2017
[2]基于条件随机场和空间推理的地理编码方法[D]. 周海.解放军信息工程大学 2015
[3]城市地址编码的技术及应用[D]. 叶海波.中国石油大学 2009
本文编号：3422128
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：165 页
【学位级别】：博士
【部分图文】：
地名匹配的神经网络架构（Santosetal.,2018）
浙江大学博士学位论文绪论13平台下构建了融合多距离信息的贝叶斯推理网络，提出了基于多准则评判的中文地址匹配方法（许普乐等，2017）。该研究显著提高了单句中文地址的匹配效率。上述中文地址匹配方法虽然启用了人工智能领域的方法，但其总体流程中仍少不了针对地址的语义特性进行复杂解析的过程。而在最近一两年内，很多国内研究者也使用了深层句子表征技术将每个地址映射为同一向量空间中具有固定大小长度的向量，因此省去了对地址元素做复杂的解析。此后受流行的句子表征模型的启发，有学者提出了一种基于深度语义地址表征的地址匹配方法（Shanetal.,2019）。该研究首先通过在网络上检索训练集中的每个地址的相关最新新闻，然后将这些新闻视为语料库来丰富地址的语义信息，并使用Word2Vec方法来训练单词向量。之后使用带有两个LSTM（Longshort-termmemory，长短时记忆网络）网络的编码解码器体系结构来学习地址字符串的语义矢量表征并对编码器-解码器模型中的地址进行上采样和子采样以提高鲁棒性。此外，该研究还在模型中应用了注意力机制，以在其语义表征中突出显示地址的重要特征。其地址编码器-解码器模型结构如图1.2所示：图1.2地址编码器-解码器模型结构示例（Shanetal.,2019）该研究者在两个真实中文地名地址数据集上进行了实验，实验结果表明，该模型在精度（高出5％）和召回率（高出8％）两个指标上都比之前最先进的方法更好。
浙江大学博士学位论文绪论14Linetal.（2019）则将地址匹配问题理解并转化成NLP中的一项任务，借鉴了深度文本匹配的先进模型进行语义地址匹配任务。该研究也分为两阶段进行，其中第一阶段也类似Shan研究中所用的方式，将Word2Vec模型应用于训练和获取地址元素的单词向量，并将输入的地址记录转换为其相应的向量表示形式。第二步则采用了深度文本匹配模型之一的增强顺序推理模型（ESIM）（Chenetal.,2016），在比较的地址记录（矢量格式）之间进行本地和全局推理，并确定是否他们匹配。ESIM的整体流程结构概况如图1.3所示。该研究通过将NLP中的深度学习架构引入地址匹配中，开发了一种有效且准确的语义地址匹配方法来填补之前研究所没有的空白。其不仅考虑地址记录之间的字面相似性，还强调基于地址“理解”的语义链接：无论所比较的地址记录是相似的，还是仅具有很少的文字重叠，该方法都能够获得较高的预测精度。图1.3增强顺序推理模型（ESIM）的整体流程结构（Linetal.,2019）总的来说，将NLP中先进的模型及方法应用到地址匹配正变得越来越流行。但是基本上目前所有相关的研究都还停留在提取语义特征加后续任务型模型的模式阶段。一来该模式使得地址的语义信息仍未得到充分的挖掘利用，二来任务型模型的设计相对独立；同时，上述的研究仍需要对地址要素进行解析，虽然该步骤已经越来越简化。
【参考文献】：
期刊论文
[1]基于BiLSTM-CRF的中文层级地址分词[J]. 程博,李卫红,童昊昕. 地球信息科学学报. 2019(08)
[2]智慧城市时空大数据云平台建设技术大纲研究[J]. 郝利娟,刘冬枝. 地理空间信息. 2019(06)
[3]基于条件随机场的非规范化中文地址解析方法[J]. 许也,申柏希,徐翔,李军. 地理与地理信息科学. 2019(02)
[4]城市地址模型概念框架的关键问题[J]. 张志军,邱俊武,亢孟军,毛海辰. 测绘通报. 2018(09)
[5]面向专业领域的中文分词方法[J]. 成于思,施云涛. 计算机工程与应用. 2018(17)
[6]基于空间语义的地理编码在智慧城市信息系统中的应用[J]. 康昆,李明峰,周醉,蔡炜珩. 现代测绘. 2018(03)
[7]大数据环境下基于贝叶斯推理的中文地名地址匹配方法[J]. 许普乐,王杨,黄亚坤,黄少芬,赵传信,陈付龙. 计算机科学. 2017(09)
[8]大数据驱动的地名信息获取与应用[J]. 张雪英,闾国年,杜咪,叶鹏. 现代测绘. 2017(02)
[9]基于条件随机场的中文地名识别方法[J]. 邬伦,刘磊,李浩然,高勇. 武汉大学学报(信息科学版). 2017(02)
[10]文本蕴含关系识别与知识获取研究进展及展望[J]. 郭茂盛,张宇,刘挺. 计算机学报. 2017(04)
博士论文
[1]深度神经网络下的规范化地址建设与语义空间模型研究[D]. 毛瑞琛.浙江大学 2019
[2]文本语义相似度计算方法研究[D]. 刘宏哲.北京交通大学 2012
硕士论文
[1]基于空间场景相似性的投诉地址推荐[D]. 万海翔.武汉大学 2017
[2]基于条件随机场和空间推理的地理编码方法[D]. 周海.解放军信息工程大学 2015
[3]城市地址编码的技术及应用[D]. 叶海波.中国石油大学 2009
本文编号：3422128
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3422128.html
