基于深度语义模型的乳腺X线图像检索

发布时间：2021-10-07 12:49

　　图像特征是基于内容的图像检索（Content-based image retrieval,CBIR）的关键,大部分使用的手工特征难以有效地表示乳腺肿块的特征,底层特征与高层语义之间存在语义鸿沟。为了提高CBIR的检索性能,本文采用深度学习来提取图像的高层语义特征。由于乳腺X线图像的深度卷积特征在空间和特征维度上存在一定的冗余和噪声,本文在词汇树和倒排文件的基础上,对深度特征的空间和语义进行优化,构建了两种不同的深度语义树。为了充分发挥深度卷积特征的识别能力,根据乳腺图像深度特征的局部特性对树节点的权重进行细化,提出了两种节点加权方法,得到了更好的检索结果。本文从乳腺X线图像数据库（Digital database for screening mammography,DDSM）中提取了2 200个感兴趣区域（Region of interest,ROIs）作为数据集,实验结果表明,该方法能够有效提高感兴趣肿块区域的检索精度和分类准确率,并且具有良好的可扩展性。 

【文章来源】：数据采集与处理. 2020,35(03)北大核心CSCD

【文章页数】：11 页

【部分图文】：

倒排文件示意图

深度特征在空间和语义特征维度上存在冗余和噪声，使用降噪自编码器对特征分别进行空间和语义的优化，得到两种不同的深度特征，构建深度语义树用于图像检索。基于空间优化的深度语义树检索方法的框架如图2所示。使用AlexNet网络提取256个大小为13×13的特征图，每张图像对应的特征图可以看作169个256维的稠密特征。经过ReLu激活后的特征图存在大量值为0的点，在空间上存在大量冗余，本文采用的乳腺X线图像存在噪声、血管等干扰因素，并且对肿块图像，存在肿块背景的信息冗余，对于正常组织图像，存在纹理大量重复的信息冗余，因此对特征图空间上的优化变得十分必要。以F个D维的稠密特征作为降噪自编码器的输入，隐层输出为F"个D维特征，其中，F"<F，从而达到特征图空间优化的目的。用降噪自编码器进行特征图空间优化的示意图如图3所示。

在得到数据库图像空间优化的图像特征后，按照前一节所述方法构建语义树得到查询图像的相关图像，并根据相似度评分测量查询图像与其相关图像的相似度。首先需要计算查询图像q和其相关图像d的每一对路径之间的相似度，查询图像q的第i条路径和其相关图像d的第j条路径之间的相似度得分计算方式为式中：w为加权函数，δ为克罗内克函数，δ(a,b)=1 if a=b andδ(a,b)=0，节点初始权重采用逆向文件频率（Inverse document frequency,IDF）方法加权，得到


本文编号：3422079