文本大数据的智慧城市研究与分析
发布时间：2021-11-23 21:07
针对快速了解智慧城市当前研究的现状问题,该文基于网络爬虫手段,快速获取中国知网2009年1月—2019年3月收录的以智慧城市为关键词的各类研究文献,构建了智慧城市文本大数据与自动分词模型,基于文本挖掘技术深入分析了智慧城市的研究热点、现状、研究主题,指出了当前智慧城市建设中的问题。结果表明:当前处于智慧城市建设与快速发展阶段,研究热点归纳为研究方法、技术手段、应用领域3个层面,研究主题主要集中在技术与应用方面;此外当前智慧城市存在着"信息孤岛""数据孤岛"问题突出、个性化设计与共享不足、缺乏运行维护长效机制、与新型智慧城市的要求还有差距等不足,研究结果可为智慧城市建设提供参考。
【文章来源】：测绘科学. 2020,45(07)北大核心CSCD
【文章页数】：11 页
【部分图文】：
研究流程
中文分词是文本挖掘的关键步骤,与英文文档不同的是中文文档的语义、词汇结构等更复杂,分词的难度较大。在处理智慧城市相关文档时,研究者常借助于jieba分词框架(该框架是目前主流的开源中文分词框架,具有使用方便、分词精度高等优点[18])进行分词[10,19-20],通常利用隐马尔可夫模型(HMM)识别与处理前缀词典中未登录的词汇。但在实际的使用过程中,由于前缀词典缺乏智慧城市相关的专业词汇,直接使用jieba分词,将对“大数据”“时空信息云平台”“智慧交通”“雄安”等未登录词存在误分的情况;另外智慧城市语料文档(提取智慧城市文本大数据Title字段得到)包括了诸如“实现”“构建”等普通词汇,和“雄安”等地名词汇,当数据量较大,以及前缀词典的数量较多时,将会导致分词效率降低[9]。为此本文从词典入手,基于jieba分词方法,构建了智慧城市文本大数据的自动分词模型,如图2所示。首先搜集资料,以人民日报1998年1—6月标注语料库作为基础语料文档;停用词[21]从基础语料文档中提取形成;从智慧城市文本大数据中提取,经过去复、单一化处理形成关键词数据库作为专业词典;地名地址信息来源于民政部全国行政区划查询平台[22]。基于面向词向量算法[23],通过整合最终得到用于分词的“新词典”。
将智慧城市要素数据库与关键词数据库的词频进行对比(横坐标与纵坐标各取对数运算),得到如图3所示的对比图基准线为两者词频值相同的位置。基准线至纵轴方向显示的词汇更多来自于要素数据库,反映出文献题名的用词与智慧城市研究的方法相关,如探讨、分析、展望、研究等;基准线至横轴方向显示的词汇更多来自于关键词数据库,反映出关键词与智慧城市的技术手段、应用范围相关,如云计算、大数据、电子政务、生态城市等。通过挖掘智慧城市要素数据库与关键词数据库的高频词汇,能够反映智慧城市的研究热点,便于分析各取题名与关键词前10个进行分析,如图4所示。总体而言:“建设”“研究”“发展”“应用”等为智慧城市研究方法的热点,物联网、大数据、云计算、“互联网+”等信息化手段为智慧城重要的技术支撑;智慧旅游、智慧社区、城市规划为智慧城市研究与应用的热点领域。
【参考文献】：
期刊论文
[1]基于LDA模型的公众反馈意见采纳研究——共享单车政策修订与数据挖掘的对比分析[J]. 杨奕,张毅,李梅,邓雯. 情报科学. 2019(01)
[2]中国新型智慧城市发展进程与趋势[J]. 党安荣,甄茂成,王丹,梁军. 科技导报. 2018(18)
[3]中国智慧城市建设现状与趋势[J]. 陈正伟. 中国建设信息化. 2018(13)
[4]从电子政务、智慧城市到智慧社会——智慧宜昌一体化建设实践探析[J]. 王俊. 电子政务. 2018(05)
[5]基于LDA主题模型的文献关联分析及可视化研究[J]. 王丽,邹丽雪,刘细文. 数据分析与知识发现. 2018(03)
[6]我国智慧城市建设研究述评[J]. 楚金华. 现代城市研究. 2017(08)
[7]智慧城市时空信息云平台评价指标体系研究[J]. 刘晓丽,李成名,印洁. 测绘通报. 2017(03)
[8]吕苏语口语标注语料的自动分词方法研究[J]. 于重重,操镭,尹蔚彬,张泽宇,郑雅. 计算机应用研究. 2017(05)
[9]细粒度语义共词分析方法研究[J]. 王玉林,王忠义. 图书情报工作. 2014(21)
[10]国内外共词分析法研究的发展与分析[J]. 唐果媛,张薇. 图书情报工作. 2014(22)
博士论文
[1]智慧城市评价体系研究[D]. 周骥.华中科技大学 2013
硕士论文
[1]基于文本挖掘的智慧城市建设的热点与城市差异研究[D]. 龚言浩.南京大学 2018
[2]基于共词分析的中小型智慧城市要素研究[D]. 谭骁.湖南大学 2017
[3]智慧城市发展水平评价及差异比较[D]. 廖世菊.重庆大学 2016
本文编号：3514645
【文章来源】：测绘科学. 2020,45(07)北大核心CSCD
【文章页数】：11 页
【部分图文】：
研究流程
中文分词是文本挖掘的关键步骤,与英文文档不同的是中文文档的语义、词汇结构等更复杂,分词的难度较大。在处理智慧城市相关文档时,研究者常借助于jieba分词框架(该框架是目前主流的开源中文分词框架,具有使用方便、分词精度高等优点[18])进行分词[10,19-20],通常利用隐马尔可夫模型(HMM)识别与处理前缀词典中未登录的词汇。但在实际的使用过程中,由于前缀词典缺乏智慧城市相关的专业词汇,直接使用jieba分词,将对“大数据”“时空信息云平台”“智慧交通”“雄安”等未登录词存在误分的情况;另外智慧城市语料文档(提取智慧城市文本大数据Title字段得到)包括了诸如“实现”“构建”等普通词汇,和“雄安”等地名词汇,当数据量较大,以及前缀词典的数量较多时,将会导致分词效率降低[9]。为此本文从词典入手,基于jieba分词方法,构建了智慧城市文本大数据的自动分词模型,如图2所示。首先搜集资料,以人民日报1998年1—6月标注语料库作为基础语料文档;停用词[21]从基础语料文档中提取形成;从智慧城市文本大数据中提取,经过去复、单一化处理形成关键词数据库作为专业词典;地名地址信息来源于民政部全国行政区划查询平台[22]。基于面向词向量算法[23],通过整合最终得到用于分词的“新词典”。
将智慧城市要素数据库与关键词数据库的词频进行对比(横坐标与纵坐标各取对数运算),得到如图3所示的对比图基准线为两者词频值相同的位置。基准线至纵轴方向显示的词汇更多来自于要素数据库,反映出文献题名的用词与智慧城市研究的方法相关,如探讨、分析、展望、研究等;基准线至横轴方向显示的词汇更多来自于关键词数据库,反映出关键词与智慧城市的技术手段、应用范围相关,如云计算、大数据、电子政务、生态城市等。通过挖掘智慧城市要素数据库与关键词数据库的高频词汇,能够反映智慧城市的研究热点,便于分析各取题名与关键词前10个进行分析,如图4所示。总体而言:“建设”“研究”“发展”“应用”等为智慧城市研究方法的热点,物联网、大数据、云计算、“互联网+”等信息化手段为智慧城重要的技术支撑;智慧旅游、智慧社区、城市规划为智慧城市研究与应用的热点领域。
【参考文献】：
期刊论文
[1]基于LDA模型的公众反馈意见采纳研究——共享单车政策修订与数据挖掘的对比分析[J]. 杨奕,张毅,李梅,邓雯. 情报科学. 2019(01)
[2]中国新型智慧城市发展进程与趋势[J]. 党安荣,甄茂成,王丹,梁军. 科技导报. 2018(18)
[3]中国智慧城市建设现状与趋势[J]. 陈正伟. 中国建设信息化. 2018(13)
[4]从电子政务、智慧城市到智慧社会——智慧宜昌一体化建设实践探析[J]. 王俊. 电子政务. 2018(05)
[5]基于LDA主题模型的文献关联分析及可视化研究[J]. 王丽,邹丽雪,刘细文. 数据分析与知识发现. 2018(03)
[6]我国智慧城市建设研究述评[J]. 楚金华. 现代城市研究. 2017(08)
[7]智慧城市时空信息云平台评价指标体系研究[J]. 刘晓丽,李成名,印洁. 测绘通报. 2017(03)
[8]吕苏语口语标注语料的自动分词方法研究[J]. 于重重,操镭,尹蔚彬,张泽宇,郑雅. 计算机应用研究. 2017(05)
[9]细粒度语义共词分析方法研究[J]. 王玉林,王忠义. 图书情报工作. 2014(21)
[10]国内外共词分析法研究的发展与分析[J]. 唐果媛,张薇. 图书情报工作. 2014(22)
博士论文
[1]智慧城市评价体系研究[D]. 周骥.华中科技大学 2013
硕士论文
[1]基于文本挖掘的智慧城市建设的热点与城市差异研究[D]. 龚言浩.南京大学 2018
[2]基于共词分析的中小型智慧城市要素研究[D]. 谭骁.湖南大学 2017
[3]智慧城市发展水平评价及差异比较[D]. 廖世菊.重庆大学 2016
本文编号：3514645
本文链接：https://www.wllwen.com/jingjilunwen/hongguanjingjilunwen/3514645.html
