基于深度学习的跨模态城市区域分类研究
发布时间：2021-05-16 23:37
随着人工智能技术的蓬勃发展,人们对于新型“智慧城市”的出现越发期待,而构建新型“智慧城市”的关键在于对不同城市区域的智能识别。城市的日常运转过程中通常伴随着海量来自移动终端、监控设备、卫星、记录仪等处的数据产生。这些数据构成了对不同区域功能模式的间接表述,而挖掘此类数据能够实现对不同城市区域的分类。机器学习中,通常称数据的客观存在形式为其模态。在城市区域分类问题中,单模态学习常存在信息单一、类间偏重较大、分类精度有限等不足;而多模态学习又存在研究方法不统一、多模态融合效率低等不足。针对上述问题,本文选择遥感图像与用户访问记录两种模态的数据,由单模态分类的研究入手,继而提出基于深度学习的跨模态分类框架。针对遥感图像这一数据模态,本文首先以迁移学习的方式检测了 VGG16、ResNet、GoogleNet、DenseNet等经典卷积神经网络的分类性能。然后,根据遥感图像空间信息缺失等特点,分别引入基于通道的注意力机制与基于空间的注意力机制来提高网络的特征学习能力。实验证明,在3种不同分辨率的数据集上,引入注意力机制后的卷积神经网络的分类精度明显提高,且图像分辨率越低,提升效果越明显。在低分...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景及意义
1.2 研究现状
1.2.1 基于图像模态的分类研究
1.2.2 基于其他模态的分类研究
1.2.3 多模态融合
1.3 论文主要内容及章节安排
1.3.1 论文主要内容
1.3.2 章节安排
第2章 基于深度卷积神经网络的遥感图像分类
2.1 backbone的选择
2.1.1 VGG16网络结构
2.1.2 GoogleNet网络
2.1.3 DenseNet网络
2.2 基于注意力机制的低分辨率遥感图分类
2.2.1 SENet网络
2.2.2 RA-CNN网络
2.3 实验结果与分析
2.3.1 数据集介绍
2.3.2 不同模型对比与backbone的选择
2.3.3 图像模态误差分析
2.4 本章小结
第3章 基于非对称-卷积神经网络的访问记录分类
3.1 数据重构
3.1.1 基于卷积思想的数据重构
3.1.2 ResNext网络
3.2 基于时序展开的数据重构与分类模型
3.2.1 时序展开
3.2.2 时序展开的分类模型
3.3 实验结果与分析
3.3.1 实验细节
3.3.2 实验结果对比与分析
3.3.3 重构方式2的数据可视化
3.4 本章小结
第4章 基于深度学习的跨模态分类模型
4.1 集成学习
4.1.1 投票法
4.1.2 加权法
4.1.3 Stacking方式
4.2 双通道卷积神经网络
4.2.1 基本原理
4.2.2 DC-CNN模型结构设计
4.3 实验结果与分析
4.3.1 不同DC-CNN分类效果分析
4.3.2 多模态融合的本质
4.3.3 特征融合与决策融合的对比
4.3.4 基于Stacking策略的混合融合
4.4 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文
附录
学位论文评阅及答辩情况表
【参考文献】：
期刊论文
[1]基于因子分析和聚类分析的城市轨交站区功能识别方法[J]. 宫同伟,运迎霞. 统计与决策. 2020(05)
[2]面向深度学习的多模态融合技术研究综述[J]. 何俊,张彩庆,李小珍,张德海. 计算机工程. 2020(05)
[3]基于尺度注意力网络的遥感图像场景分类[J]. 边小勇,费雄君,穆楠. 计算机应用. 2020(03)
[4]图像物体分类与检测算法综述[J]. 黄凯奇,任伟强,谭铁牛. 计算机学报. 2014(06)
[5]基于居民购物消费行为的上海城市商业空间结构研究[J]. 柴彦威,翁桂兰,沈洁. 地理研究. 2008(04)
[6]基于多特征的遥感影像分类方法[J]. 陈秋晓,骆剑承,周成虎,郑江,鲁学军,沈占锋. 遥感学报. 2004(03)
博士论文
[1]双支路深度神经网络下的遥感图像配准及多分辨率融合分类[D]. 朱浩.西安电子科技大学 2019
硕士论文
[1]基于新浪微博的城市区域功能描述与人群流动分析[D]. 夏天禹.上海大学 2019
[2]基于卷积神经网络的遥感图像分类算法研究[D]. 梁晓旭.西安电子科技大学 2018
[3]基于注意力机制的图像分类深度学习方法研究[D]. 王培森.中国科学技术大学 2018
[4]基于卷积神经网络的遥感图像分类和分割方法研究[D]. 蒲勇飞.哈尔滨工业大学 2018
本文编号：3190626
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：77 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第1章 绪论
1.1 研究背景及意义
1.2 研究现状
1.2.1 基于图像模态的分类研究
1.2.2 基于其他模态的分类研究
1.2.3 多模态融合
1.3 论文主要内容及章节安排
1.3.1 论文主要内容
1.3.2 章节安排
第2章 基于深度卷积神经网络的遥感图像分类
2.1 backbone的选择
2.1.1 VGG16网络结构
2.1.2 GoogleNet网络
2.1.3 DenseNet网络
2.2 基于注意力机制的低分辨率遥感图分类
2.2.1 SENet网络
2.2.2 RA-CNN网络
2.3 实验结果与分析
2.3.1 数据集介绍
2.3.2 不同模型对比与backbone的选择
2.3.3 图像模态误差分析
2.4 本章小结
第3章 基于非对称-卷积神经网络的访问记录分类
3.1 数据重构
3.1.1 基于卷积思想的数据重构
3.1.2 ResNext网络
3.2 基于时序展开的数据重构与分类模型
3.2.1 时序展开
3.2.2 时序展开的分类模型
3.3 实验结果与分析
3.3.1 实验细节
3.3.2 实验结果对比与分析
3.3.3 重构方式2的数据可视化
3.4 本章小结
第4章 基于深度学习的跨模态分类模型
4.1 集成学习
4.1.1 投票法
4.1.2 加权法
4.1.3 Stacking方式
4.2 双通道卷积神经网络
4.2.1 基本原理
4.2.2 DC-CNN模型结构设计
4.3 实验结果与分析
4.3.1 不同DC-CNN分类效果分析
4.3.2 多模态融合的本质
4.3.3 特征融合与决策融合的对比
4.3.4 基于Stacking策略的混合融合
4.4 本章小结
第5章 总结与展望
5.1 总结
5.2 展望
参考文献
致谢
攻读学位期间发表的学术论文
附录
学位论文评阅及答辩情况表
【参考文献】：
期刊论文
[1]基于因子分析和聚类分析的城市轨交站区功能识别方法[J]. 宫同伟,运迎霞. 统计与决策. 2020(05)
[2]面向深度学习的多模态融合技术研究综述[J]. 何俊,张彩庆,李小珍,张德海. 计算机工程. 2020(05)
[3]基于尺度注意力网络的遥感图像场景分类[J]. 边小勇,费雄君,穆楠. 计算机应用. 2020(03)
[4]图像物体分类与检测算法综述[J]. 黄凯奇,任伟强,谭铁牛. 计算机学报. 2014(06)
[5]基于居民购物消费行为的上海城市商业空间结构研究[J]. 柴彦威,翁桂兰,沈洁. 地理研究. 2008(04)
[6]基于多特征的遥感影像分类方法[J]. 陈秋晓,骆剑承,周成虎,郑江,鲁学军,沈占锋. 遥感学报. 2004(03)
博士论文
[1]双支路深度神经网络下的遥感图像配准及多分辨率融合分类[D]. 朱浩.西安电子科技大学 2019
硕士论文
[1]基于新浪微博的城市区域功能描述与人群流动分析[D]. 夏天禹.上海大学 2019
[2]基于卷积神经网络的遥感图像分类算法研究[D]. 梁晓旭.西安电子科技大学 2018
[3]基于注意力机制的图像分类深度学习方法研究[D]. 王培森.中国科学技术大学 2018
[4]基于卷积神经网络的遥感图像分类和分割方法研究[D]. 蒲勇飞.哈尔滨工业大学 2018
本文编号：3190626
本文链接：https://www.wllwen.com/guanlilunwen/gongchengguanli/3190626.html
