基于深度学习的科技数据复用研究

发布时间：2023-06-02 20:02

　　随着计算机领域的发展,科技类数据的结构趋向于复杂,在数据整合的过程中,数据重复的比率日趋增高。数据复用技术是解决当前数据管理中节省存储空间、提高数据利用率等问题的有效手段。本文依托“河北省科技攻关项目科技大数据标准化处理与应用系统研发”(172110113D)和“河北省科技创新大数据公共平台”项目,提出了一种基于科技数据相似性分析的数据实体关联映射复用方法。首先针对科技数据中不同数据集的数据维度进行分析,建立相似维度组对;在此基础上进一步计算实体数据维度值相似率,进而建立数据实体之间的关联映射关系,最后进行标准化并存储,达到科技数据复用目的。论文的主要研究工作如下:(1)基于深度学习的科技数据相似维度组对的优化分析建立了一种维度权重量化机制,对数据维度进行权重分析,筛选可复用维度。针对不同科技数据集的维度,进行相似度匹配分析,建立不同数据集之间的相似维度组对;运用深度学习算法进行训练,获得最优相似维度组对。(2)科技数据实体关联映射的构建与标准化根据数据集之间形成的相似维度组对,进行不同数据集之间的数据实体关联映射分析。相对于传统的以查询中间结果为数据复用对象,本文从数据实体之间建立的...

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状
        1.2.1 数据复用的相关研究
        1.2.2 数据相似性
    1.3 主要研究目标及工作
    1.4 论文组织结构
第二章 相关概念与技术
    2.1 科技数据复用
        2.1.1 数据复用概念
        2.1.2 数据复用的应用
    2.2 深度学习
        2.2.1 深度学习概念
        2.2.2 Word2vec模型原理
        2.2.3 卷积神经网络和循环神经网络
    2.3 科技数据列式存储
        2.3.1 非关系型数据库Mongo DB简介
        2.3.2 非关系型数据库与关系型数据库的简单比较
    2.4 科技数据相似性分析
        2.4.1 基于传统数据相似性分析方法
        2.4.2 基于深度学习相似性分析方法
    2.5 本章小结
第三章 面向科技数据复用的短文本相似性分析
    3.1 科技数据短文本预处理
        3.1.1 短文本分词
        3.1.2 停用词分析
        3.1.3 特征词向量
    3.2 基于同义词词林改进的科技短文本语义相似度算法
        3.2.1 同义词词林介绍
        3.2.2 基于同义词词林改进的科技短文本相似度C_Lin算法
    3.3 基于内注意力机制的科技短文本语义相似度模型
        3.3.1 基于LSTM的文本相似度识别
        3.3.2 基于内注意力机制相似度分析IA-LSTM模型
    3.4 实验设计与结果分析
        3.4.1 实验数据与实验流程
        3.4.2 结果分析
    3.5 本章小结
第四章 面向科技数据复用的维度相似性分析
    4.1 基于传统特征分析的科技数据相似维度组对匹配策略
        4.1.1 科技数据集维度权重量化
        4.1.2 基于传统特征分析的相似维度组对匹配算法
    4.2 基于深度学习算法的科技数据相似维度组对匹配策略
        4.2.1 科技数据集维度特征值量化
        4.2.2 基于深度学习的科技数据维度组对相似匹配模型设计
    4.3 实验设计与结果分析
        4.3.1 实验数据与实验流程
        4.3.2 结果分析
    4.4 本章小结
第五章 科技数据复用模型的验证
    5.1 相关工作
    5.2 实验设计与数据实体复用分析
        5.2.1 科技数据复用实验设计
        5.2.2 科技数据实体关联映射分析
        5.2.3 科技数据复用结果标准化和复用存储
    5.3 复用数据指标评价与结果分析
        5.3.1 实验评价指标
        5.3.2 实验结果与分析
    5.4 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
个人简历、在学期间的研究成果及发表的学术论文



本文编号：3827942