基于增强动态稠密轨迹特征的布料材质识别
发布时间：2021-03-01 12:35
为了克服基于视频的布料材质识别中由于忽略了动态因素的影响导致材质识别准确率低的难点,利用布料仿真视频库,提出一种基于增强动态稠密轨迹特征的布料材质识别方法以有效识别布料的材质属性信息.首先利用材质合成方法构造64种不同材质的布料仿真视频数据库;然后利用构造的布料动态视频库,通过迁移预训练的VGG网络增强布料动态视频的各帧特征信息,并消除部分非动态特征;其次利用动态稠密轨迹特征描述布料视频的动态特征,以充分捕捉不同布料材质视频的动态信息;最后通过Fisher向量编码生成布料动态信息的特征数据库,并训练SVM分类器建立布料材质视频动态信息到材质属性参数的映射.利用构建的布料仿真视频库作为数据集进行实验的结果表明,该方法对64种不同布料材质视频的材质种类识别准确率达到73.83%.
【文章来源】：计算机辅助设计与图形学学报. 2020,32(06)北大核心
【文章页数】：13 页
【部分图文】：
增强后的布料材质视频料信息,并消除背景造成的干扰,有效地用于布料
第6期夏海浜,等:基于增强动态稠密轨迹特征的布料材质识别935a.原视频b.L1增强后c.L2增强后d.L3增强后e.L4增强后f.L5增强后图3增强后的布料材质视频图4迁移层数选择强网络,增强后的视频帧分辨率为240×135.其中,VGG-19网络为具有19层的网络,如图5所示,其包含1个输入层、14个卷积层、5个池化层、3个全连接层和1个Softmax层.图5左侧所示为布料视频动态特征增强的网络结构,其中迁移VGG网络的前3组卷积层可用于动态特征增强;具体增强操作如图5右侧所示,先将视频分割为200帧的图片集,使用迁移的部分VGG网络过滤图片集生成特征增强图片集,再将该图片集合成帧率为20帧/s视频组成特征增强视频库.以本文的仿真视频为对象进行实验.图6所示为2段复杂场景视频处理前后的对比图,图6a中原背景具有高亮颜色,经迁移学习处理后的视频消除了该类信息,并且布料边缘得到了很好的刻画,图6b的原背景和布料颜色相近,但经处理后的视频背景和布料可以较好地区分.实验可知,经过迁移的前3组卷积层处理后的视频能够增强布料信息,并消除背景造成的干扰,有效地用于布料动态信息的提取.图7所示为特征增强前后的视频帧光流图,其中红点为静态特征点,绿点为光流特征点,可以看到经VGG网络增强后的光流图相比增强前的光流图背景中只存在少量的背景特征点,即经VGG网络增强后的视频基本消除了背景信息.图7中上行是视频特征增强前的4帧光流图,下行是视频特征增强后的4帧光流图,上行每一帧和下行的每一帧相对应.对比实验结果可知,图7上行显示图5动态特征增强网络结构
第6期夏海浜,等:基于增强动态稠密轨迹特征的布料材质识别935a.原视频b.L1增强后c.L2增强后d.L3增强后e.L4增强后f.L5增强后图3增强后的布料材质视频图4迁移层数选择强网络,增强后的视频帧分辨率为240×135.其中,VGG-19网络为具有19层的网络,如图5所示,其包含1个输入层、14个卷积层、5个池化层、3个全连接层和1个Softmax层.图5左侧所示为布料视频动态特征增强的网络结构,其中迁移VGG网络的前3组卷积层可用于动态特征增强;具体增强操作如图5右侧所示,先将视频分割为200帧的图片集,使用迁移的部分VGG网络过滤图片集生成特征增强图片集,再将该图片集合成帧率为20帧/s视频组成特征增强视频库.以本文的仿真视频为对象进行实验.图6所示为2段复杂场景视频处理前后的对比图,图6a中原背景具有高亮颜色,经迁移学习处理后的视频消除了该类信息,并且布料边缘得到了很好的刻画,图6b的原背景和布料颜色相近,但经处理后的视频背景和布料可以较好地区分.实验可知,经过迁移的前3组卷积层处理后的视频能够增强布料信息,并消除背景造成的干扰,有效地用于布料动态信息的提取.图7所示为特征增强前后的视频帧光流图,其中红点为静态特征点,绿点为光流特征点,可以看到经VGG网络增强后的光流图相比增强前的光流图背景中只存在少量的背景特征点,即经VGG网络增强后的视频基本消除了背景信息.图7中上行是视频特征增强前的4帧光流图,下行是视频特征增强后的4帧光流图,上行每一帧和下行的每一帧相对应.对比实验结果可知,图7上行显示图5动态特征增强网络结构
【参考文献】：
期刊论文
[1]实时的流体布料碰撞检测方法[J]. 臧惠,刘箴,柴艳杰,刘婷婷,周昆. 计算机辅助设计与图形学学报. 2018(04)
[2]布料动画模拟综述[J]. 朱淮冰,金小刚,冯结青,彭群生. 计算机辅助设计与图形学学报. 2004(05)
本文编号：3057487
【文章来源】：计算机辅助设计与图形学学报. 2020,32(06)北大核心
【文章页数】：13 页
【部分图文】：
增强后的布料材质视频料信息,并消除背景造成的干扰,有效地用于布料
第6期夏海浜,等:基于增强动态稠密轨迹特征的布料材质识别935a.原视频b.L1增强后c.L2增强后d.L3增强后e.L4增强后f.L5增强后图3增强后的布料材质视频图4迁移层数选择强网络,增强后的视频帧分辨率为240×135.其中,VGG-19网络为具有19层的网络,如图5所示,其包含1个输入层、14个卷积层、5个池化层、3个全连接层和1个Softmax层.图5左侧所示为布料视频动态特征增强的网络结构,其中迁移VGG网络的前3组卷积层可用于动态特征增强;具体增强操作如图5右侧所示,先将视频分割为200帧的图片集,使用迁移的部分VGG网络过滤图片集生成特征增强图片集,再将该图片集合成帧率为20帧/s视频组成特征增强视频库.以本文的仿真视频为对象进行实验.图6所示为2段复杂场景视频处理前后的对比图,图6a中原背景具有高亮颜色,经迁移学习处理后的视频消除了该类信息,并且布料边缘得到了很好的刻画,图6b的原背景和布料颜色相近,但经处理后的视频背景和布料可以较好地区分.实验可知,经过迁移的前3组卷积层处理后的视频能够增强布料信息,并消除背景造成的干扰,有效地用于布料动态信息的提取.图7所示为特征增强前后的视频帧光流图,其中红点为静态特征点,绿点为光流特征点,可以看到经VGG网络增强后的光流图相比增强前的光流图背景中只存在少量的背景特征点,即经VGG网络增强后的视频基本消除了背景信息.图7中上行是视频特征增强前的4帧光流图,下行是视频特征增强后的4帧光流图,上行每一帧和下行的每一帧相对应.对比实验结果可知,图7上行显示图5动态特征增强网络结构
第6期夏海浜,等:基于增强动态稠密轨迹特征的布料材质识别935a.原视频b.L1增强后c.L2增强后d.L3增强后e.L4增强后f.L5增强后图3增强后的布料材质视频图4迁移层数选择强网络,增强后的视频帧分辨率为240×135.其中,VGG-19网络为具有19层的网络,如图5所示,其包含1个输入层、14个卷积层、5个池化层、3个全连接层和1个Softmax层.图5左侧所示为布料视频动态特征增强的网络结构,其中迁移VGG网络的前3组卷积层可用于动态特征增强;具体增强操作如图5右侧所示,先将视频分割为200帧的图片集,使用迁移的部分VGG网络过滤图片集生成特征增强图片集,再将该图片集合成帧率为20帧/s视频组成特征增强视频库.以本文的仿真视频为对象进行实验.图6所示为2段复杂场景视频处理前后的对比图,图6a中原背景具有高亮颜色,经迁移学习处理后的视频消除了该类信息,并且布料边缘得到了很好的刻画,图6b的原背景和布料颜色相近,但经处理后的视频背景和布料可以较好地区分.实验可知,经过迁移的前3组卷积层处理后的视频能够增强布料信息,并消除背景造成的干扰,有效地用于布料动态信息的提取.图7所示为特征增强前后的视频帧光流图,其中红点为静态特征点,绿点为光流特征点,可以看到经VGG网络增强后的光流图相比增强前的光流图背景中只存在少量的背景特征点,即经VGG网络增强后的视频基本消除了背景信息.图7中上行是视频特征增强前的4帧光流图,下行是视频特征增强后的4帧光流图,上行每一帧和下行的每一帧相对应.对比实验结果可知,图7上行显示图5动态特征增强网络结构
【参考文献】：
期刊论文
[1]实时的流体布料碰撞检测方法[J]. 臧惠,刘箴,柴艳杰,刘婷婷,周昆. 计算机辅助设计与图形学学报. 2018(04)
[2]布料动画模拟综述[J]. 朱淮冰,金小刚,冯结青,彭群生. 计算机辅助设计与图形学学报. 2004(05)
本文编号：3057487
本文链接：https://www.wllwen.com/projectlw/qgylw/3057487.html
