卷积神经网络结构搜索的搜索空间优化研究与应用
发布时间：2021-09-04 22:50
卷积神经网络在现代主流的计算机视觉任务中占据核心的地位,近年来各种形式人工设计的卷积神经网络结构性能不断突破先前记录,在许多视觉任务中已经超过了人类水平。随着人工神经网络结构越来越成熟,即便是经验丰富的领域专家也很难再取得突破性进展,因此许多学者将目光转向神经网络结构搜索（Neural Architecture Search,NAS）。由于卷积神经网络应用广泛,因此本文主要针对卷积神经网络的结构搜索进行研究。神经网络结构搜索分为三个部分,搜索空间,搜索算法和模型评估,其中每一个部分都有许多可研究的地方,搜索空间直接决定了搜索出的模型性能的上下限,搜索算法直接影响搜索到的最优模型性能和搜索时间,而模型评估是否高效决定了评估模型的时间和硬件代价,其对整个NAS搜索时间的影响也不容小觑。基于目前神经网络结构搜索对搜索空间研究较少的现状,本文分别针对搜索空间中原操作集的选取和主干网的选取进行实验和分析。首先,本文比较人工卷积神经网络和NAS中常用的原操作,依据一定规则选取合适的原操作集,并添加两种在现代人工卷积神经网络中流行的原操作以生成新的搜索空间。通过实验显示在基于竞争机制的DARTS搜索...
【文章来源】：中央民族大学北京市 211工程院校 985工程院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
图１－１?ＮＡＳ流程图??
数据和非数值型数据。??数据准备?特征工程?模型生成?模型评估??Ｌ，幻?｜?１?換型选择?超＃数优化?丨秘?｜??Ａ?ｍｍ?卜』一－丨?ｉｉＳｉ??????１?ＧＳ?１?????—？特征选择一？特征集?？灰１?ＲＬ?｜?ｋ?＊?＾??１?ＢＯ?Ｉ????Ｉ?ＧＰ?Ｉ?｜权儼共享??数据＾洗?Ｌ如征构速??（?丨｜?Ｌ—＿…［Ｊ??????Ｌ??Ｕｊ?神经网络结构搜索??????１１?＇：」１?１１?Ｉ?１?￣??图２－１?ＡｕｔｏＭＬ流程图，其中包括：数据准备，特征工程，模型生成和模型评估??２．１．１．２特征工程??特征工程的目的在于从原始数据中尽可能地提取有用的特征，以供算法和模??型使用。特征工程一般包含３个部分：特征选择，特征提取和特征构建。特征提??取和构建是特征转换的变体，通过该变体可以创建一组新的特征［３８］。特征提取通??常旨在通过某些功能映射来减小特征的维度，特征构建则用于扩展原始特征空间。??另外，特征选择的目的是通过选择重要特征来减小特征冗余。在某种程度上，特??征工程的本质就是将这三个过程的动态结合。??９??
每个路径上的操作有０种可能，则所有网络结构数量，即搜索空间的大小为??０Ｌ?ｘ?２＾。假设Ｌ?＝?１２，０?＝?６，则搜索空间大小约为１＿６?ｘ?１０２９。从这可以看出，??即使节点数量（网络层数）才十几个（层），整个搜索空间也非常庞大，这就需??要非常多的时间和计算资源来寻找优秀的网络结构。除此之外，生成的网络结构??迁移性也比较差，在小数据集上搜索到的网络结构很难适应到大数据集，从而需??要重新在大数据集上搜索网络结构。??（才一公□?ｉ?＿?１ＳＪ?￥??（ａ）?０）??图２－２?—个拥有４个节点的完全链式网络结构示意图。其中ｃｏｎｃａｔｅ代表沿着通道維度进??行聚合??２．２．１．２基于Ｃｅｌｌ堆叠结构??为了解决完全链式结构的搜索空间过于庞大和迁移性差的问题，学者参考现??有人工卷积网络结构的块式（Ｂｌｏｃｋ）结构［５，６’５（）－５２］，提出了基于Ｃｅｌ丨结构堆叠的??搜索空间。如图２－３，整个网络结构由堆叠一定数量的搜索到的Ｃｅｌｌ结构构成。??其中Ｃｏｎｖ?Ｃｅｌｌ表示输入到Ｃｏｎｖ?Ｃｅｌｌ后的特征图尺寸不变（通道（ｃｈａｎｎｅｌ）?—??般不变），Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ表示输入到Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ后的特征图尺寸减半（通道??一般加倍）。现在假设有６个预定义的原操作，第ｉ个Ｃｅｌｌ编号为ＣｅＡ，其有Ｓ个??节点（其中前两个节点为输入节点，分别对应Ｃｅ４＿＃ＣｅＡ＿２的输出，因此我们??后面讨论的节点连接情况一般把这两个节点排除，故剩余Ｂ?－?２个节点，称这Ｂ?－??２个节点为中间节点（ＩｎｔｅｒｍｅｄｉａｔｅＮｏｄｅ）），第ｉ个节点ｎｏｄｅ；对应的候选输入为前??面ｉ?一?１个节点
本文编号：3384150
【文章来源】：中央民族大学北京市 211工程院校 985工程院校
【文章页数】：76 页
【学位级别】：硕士
【部分图文】：
图１－１?ＮＡＳ流程图??
数据和非数值型数据。??数据准备?特征工程?模型生成?模型评估??Ｌ，幻?｜?１?換型选择?超＃数优化?丨秘?｜??Ａ?ｍｍ?卜』一－丨?ｉｉＳｉ??????１?ＧＳ?１?????—？特征选择一？特征集?？灰１?ＲＬ?｜?ｋ?＊?＾??１?ＢＯ?Ｉ????Ｉ?ＧＰ?Ｉ?｜权儼共享??数据＾洗?Ｌ如征构速??（?丨｜?Ｌ—＿…［Ｊ??????Ｌ??Ｕｊ?神经网络结构搜索??????１１?＇：」１?１１?Ｉ?１?￣??图２－１?ＡｕｔｏＭＬ流程图，其中包括：数据准备，特征工程，模型生成和模型评估??２．１．１．２特征工程??特征工程的目的在于从原始数据中尽可能地提取有用的特征，以供算法和模??型使用。特征工程一般包含３个部分：特征选择，特征提取和特征构建。特征提??取和构建是特征转换的变体，通过该变体可以创建一组新的特征［３８］。特征提取通??常旨在通过某些功能映射来减小特征的维度，特征构建则用于扩展原始特征空间。??另外，特征选择的目的是通过选择重要特征来减小特征冗余。在某种程度上，特??征工程的本质就是将这三个过程的动态结合。??９??
每个路径上的操作有０种可能，则所有网络结构数量，即搜索空间的大小为??０Ｌ?ｘ?２＾。假设Ｌ?＝?１２，０?＝?６，则搜索空间大小约为１＿６?ｘ?１０２９。从这可以看出，??即使节点数量（网络层数）才十几个（层），整个搜索空间也非常庞大，这就需??要非常多的时间和计算资源来寻找优秀的网络结构。除此之外，生成的网络结构??迁移性也比较差，在小数据集上搜索到的网络结构很难适应到大数据集，从而需??要重新在大数据集上搜索网络结构。??（才一公□?ｉ?＿?１ＳＪ?￥??（ａ）?０）??图２－２?—个拥有４个节点的完全链式网络结构示意图。其中ｃｏｎｃａｔｅ代表沿着通道維度进??行聚合??２．２．１．２基于Ｃｅｌｌ堆叠结构??为了解决完全链式结构的搜索空间过于庞大和迁移性差的问题，学者参考现??有人工卷积网络结构的块式（Ｂｌｏｃｋ）结构［５，６’５（）－５２］，提出了基于Ｃｅｌ丨结构堆叠的??搜索空间。如图２－３，整个网络结构由堆叠一定数量的搜索到的Ｃｅｌｌ结构构成。??其中Ｃｏｎｖ?Ｃｅｌｌ表示输入到Ｃｏｎｖ?Ｃｅｌｌ后的特征图尺寸不变（通道（ｃｈａｎｎｅｌ）?—??般不变），Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ表示输入到Ｒｅｄｕｃｔｉｏｎ?Ｃｅｌｌ后的特征图尺寸减半（通道??一般加倍）。现在假设有６个预定义的原操作，第ｉ个Ｃｅｌｌ编号为ＣｅＡ，其有Ｓ个??节点（其中前两个节点为输入节点，分别对应Ｃｅ４＿＃ＣｅＡ＿２的输出，因此我们??后面讨论的节点连接情况一般把这两个节点排除，故剩余Ｂ?－?２个节点，称这Ｂ?－??２个节点为中间节点（ＩｎｔｅｒｍｅｄｉａｔｅＮｏｄｅ）），第ｉ个节点ｎｏｄｅ；对应的候选输入为前??面ｉ?一?１个节点
本文编号：3384150
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3384150.html
