基于深度学习模型的软件功能型克隆检测
发布时间：2020-12-13 10:10
软件克隆检测致力于找出两段功能相似的代码段,其对软件系统的维护和发展起着非常重要的作用。目前该领域存在很多研究试图有效检测软件克隆,他们多是基于代码段的文本或结构信息,手工提取代码段包含这些信息的特征。这种做法使其无法有效检测出软件功能型克隆,即只有功能相似而在句法和语法层面可能有很大差别的代码段。本文针对目前方法无法有效检测软件功能型克隆的现状,提出基于深度学习模型和监督信息的软件功能型克隆检测方法。本文首先将软件克隆检测问题形式化为一个监督学习问题,提出一个端到端的深度学习框架CDLH。CDLH利用训练集中代码段的监督信息指导深度学习模型,并根据编程语言的特点设计深度模型,使深度模型学习出的深度监督特征不仅包含代码段的句法和语法信息,同时包含了其功能信息。在真实数据集上的实验结果表明,所提方法能够有效地检测出功能型克隆。使用监督信息指导特征学习能学得包含代码段功能特点的特征,但在真实场景中进行软件克隆的标记时,领域专家一般只标记他们恰好发现的克隆对,而有大部分的未被发现的克隆对和非克隆对未被标记。因此本文提出在弱标记场景下的软件克隆检测问题应该被形式化为一个从只有正标记数据和无标记...
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【图文】：
图２－１：数据集ＢｉｇＣｌｏｎｅＢｅｎｃｈ的标注过程
ｆｌｌｌ辦轉ＢＢＭ徽麵■涵Ｖ?－１??［．…會圈？?嘗—）??Ｉ?．；：咕希病数￥３?岭希由敢３！??！＿ｔ＿?■■丨■會：??ｔ?ｍｔｍ?￣??ｉ?／Ｔｍ＼?ｎ撕―！?／舒杣＼?丨４奸：提取ｗ??！?／?ＫＨｉ／ｊｆｋ?＼?？峰?參教共享？岭?／?ｆｔｉ／ｉｔｔ＊?＼?ｉ??Ｉ?＜Ｖ?Ｗ的）料势致共李—＼?７?Ｉ??＇?＼ＬＳＴＭ?／?＼?ＬＳＴＭ，?！??、、、－．－ｔ．－????ｆ－－．ｙ?１??■?■?输入??｜代码段１?］?段２?Ｉ?．??图３－１：?ＣＤＬＨ的总体架构。??使得属于一个克隆对的代码段其哈希码之间的海明距离应尽可能近，非克隆对??的哈希码之间的海明距离应尽可能远。这两部分融合到一个整体的框架中，端??到端地学习将原始代码段映射到表示其是否克隆对的标记上。??具体来说，ＣＤＬＨ会同时学习两个函数映射：表征提取层的映射和哈希函??数的映射。为了让克隆对的哈希码尽可能相似，非克隆对的哈希码尽可能不相??似，类似［６７］定义优化函数如下：??ｎ?ｎ?１?ｍ??＾．ｙｌ?ｐｉ．ｙ?－￣Ｙ＾ｈｋ?ｈｋ?（＾（ｃｙ））?？?０－？）??’?ｉ＝ｌ?ｊ＝ｌ?ｋ＝ｌ??这里我们用简单的线性函数作为哈希函数，即Ｍ火Ｃ，．））?＝?ｓｉｇｎＫＷＣｆ）＋＆）。??其中以是偏置项，？？？，！〇，？，／＾，…人｝。但由于ｓｉｇｎ函数不容易优??化，因此我们按照一般哈希学习〖６７，６８１的做法，在优化过程中优化／＾Ｍ（Ｃ，＿））?＝??＋?＆这一项。注意这里对每一对代码段我们都乘了?ｂ＾｜这一项。??这是因为数据中不是所有的代码段都有标记，对那些没有标记的代码段如??果也对它们
３．３基于监督学习的软件克隆检测?２３??ｓｔａｔｅｍｅｎｔ??ｓｅｑｕｅｎｃｅ??ｗｈｉｌｅ?ｒｅｔｕｒｎ??ｃｏｎｄｉｔｉｏｎ，＾＾?Ｖ??ｃｏｍｐａｒｅ?＼?ｖａｒｉａｂｌｅ??ｏｐ：?＾?＼ｂ〇ｄｙ?ｎａｍｅ：?ａ??／ｆｖ?Ｖ??ｖａｒｉａｂｌｅ?ｃｏｎｓｔａｎｔ??ｎａｍｅ：?ｂ?ｖａｌｕｅ：?０?ｒａｎｃｈ??ｃｏｍｐａｒｅ?ａｓｓｉｇｎ?ａｓｓｉｇｎ??ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｂｉｎ?ｏｐ?ｖａｒｉａｂｌｅ?ｂｉｎ?ｏｐ??ｎａｍｅ：?ａ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ａ?ｏｐ：?－?ｎａｍｅ：?ｂ?ｏｐ：—??／ｖ??ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ??ｎａｍｅ：?ａ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ａ??图３?－２：抽象语法树示例图。??象语法树形成中间代码作为输出，以供后端继续处理。正因为抽象语法树能做??到不依赖于语言的细节，其才能作为各种编程语言的代码输出。抽象语法树的??这两大特点使其成为程序编译和分析理解过程中重要的组成部分。??我们来看一段基础代码对应的抽象语法树实例，以此了解抽象语法树如何??表示程序语法结构。如图３－２即是如下代码的抽象语法树：??ｗｈｉｌｅ?（ｂ?！＝?０）?｛??ｉｆ?（ａ?＞?ｂ）??ａ?＝?ａ?－?ｂ；??ｅｌｓｅ??ｂ?＝?ｂ?－?ａ??｝??ｒｅｔｕｒｎ?ａ；??
本文编号：2914377
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：70 页
【学位级别】：硕士
【图文】：
图２－１：数据集ＢｉｇＣｌｏｎｅＢｅｎｃｈ的标注过程
ｆｌｌｌ辦轉ＢＢＭ徽麵■涵Ｖ?－１??［．…會圈？?嘗—）??Ｉ?．；：咕希病数￥３?岭希由敢３！??！＿ｔ＿?■■丨■會：??ｔ?ｍｔｍ?￣??ｉ?／Ｔｍ＼?ｎ撕―！?／舒杣＼?丨４奸：提取ｗ??！?／?ＫＨｉ／ｊｆｋ?＼?？峰?參教共享？岭?／?ｆｔｉ／ｉｔｔ＊?＼?ｉ??Ｉ?＜Ｖ?Ｗ的）料势致共李—＼?７?Ｉ??＇?＼ＬＳＴＭ?／?＼?ＬＳＴＭ，?！??、、、－．－ｔ．－????ｆ－－．ｙ?１??■?■?输入??｜代码段１?］?段２?Ｉ?．??图３－１：?ＣＤＬＨ的总体架构。??使得属于一个克隆对的代码段其哈希码之间的海明距离应尽可能近，非克隆对??的哈希码之间的海明距离应尽可能远。这两部分融合到一个整体的框架中，端??到端地学习将原始代码段映射到表示其是否克隆对的标记上。??具体来说，ＣＤＬＨ会同时学习两个函数映射：表征提取层的映射和哈希函??数的映射。为了让克隆对的哈希码尽可能相似，非克隆对的哈希码尽可能不相??似，类似［６７］定义优化函数如下：??ｎ?ｎ?１?ｍ??＾．ｙｌ?ｐｉ．ｙ?－￣Ｙ＾ｈｋ?ｈｋ?（＾（ｃｙ））?？?０－？）??’?ｉ＝ｌ?ｊ＝ｌ?ｋ＝ｌ??这里我们用简单的线性函数作为哈希函数，即Ｍ火Ｃ，．））?＝?ｓｉｇｎＫＷＣｆ）＋＆）。??其中以是偏置项，？？？，！〇，？，／＾，…人｝。但由于ｓｉｇｎ函数不容易优??化，因此我们按照一般哈希学习〖６７，６８１的做法，在优化过程中优化／＾Ｍ（Ｃ，＿））?＝??＋?＆这一项。注意这里对每一对代码段我们都乘了?ｂ＾｜这一项。??这是因为数据中不是所有的代码段都有标记，对那些没有标记的代码段如??果也对它们
３．３基于监督学习的软件克隆检测?２３??ｓｔａｔｅｍｅｎｔ??ｓｅｑｕｅｎｃｅ??ｗｈｉｌｅ?ｒｅｔｕｒｎ??ｃｏｎｄｉｔｉｏｎ，＾＾?Ｖ??ｃｏｍｐａｒｅ?＼?ｖａｒｉａｂｌｅ??ｏｐ：?＾?＼ｂ〇ｄｙ?ｎａｍｅ：?ａ??／ｆｖ?Ｖ??ｖａｒｉａｂｌｅ?ｃｏｎｓｔａｎｔ??ｎａｍｅ：?ｂ?ｖａｌｕｅ：?０?ｒａｎｃｈ??ｃｏｍｐａｒｅ?ａｓｓｉｇｎ?ａｓｓｉｇｎ??ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｂｉｎ?ｏｐ?ｖａｒｉａｂｌｅ?ｂｉｎ?ｏｐ??ｎａｍｅ：?ａ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ａ?ｏｐ：?－?ｎａｍｅ：?ｂ?ｏｐ：—??／ｖ??ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ?ｖａｒｉａｂｌｅ??ｎａｍｅ：?ａ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ｂ?ｎａｍｅ：?ａ??图３?－２：抽象语法树示例图。??象语法树形成中间代码作为输出，以供后端继续处理。正因为抽象语法树能做??到不依赖于语言的细节，其才能作为各种编程语言的代码输出。抽象语法树的??这两大特点使其成为程序编译和分析理解过程中重要的组成部分。??我们来看一段基础代码对应的抽象语法树实例，以此了解抽象语法树如何??表示程序语法结构。如图３－２即是如下代码的抽象语法树：??ｗｈｉｌｅ?（ｂ?！＝?０）?｛??ｉｆ?（ａ?＞?ｂ）??ａ?＝?ａ?－?ｂ；??ｅｌｓｅ??ｂ?＝?ｂ?－?ａ??｝??ｒｅｔｕｒｎ?ａ；??
本文编号：2914377
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2914377.html
