文本分析资源与任务管理系统的设计与实现
发布时间：2020-08-19 14:43
【摘要】：随着因特网的普及,各行业企业信息化程度的提高,非结构化的数据资源量呈指数上升态势。全球海量的数据资源混杂在一起,使得真正有用的信息被埋没。用户需要一个简单便捷的工具从大规模的数据资源中提取符合自身需求的数据。而具有广阔应用前景的文本分析技术正好可以解决这一问题。文本分析是以非结构化或半结构化的海量数据资源为目标,将文本转化成方便计算机处理的形式,再从中总结重要的规律并以便于用户理解接收的形式输出。文本分析资源与任务管理系统采用Spring-boot框架、Eclipse开发平台、MySQL数据库和Redis数据库进行开发。本系统主要包含了资源管理子系统和文本处理子系统,并将其细化分为分类规则管理模块、词库管理模块、数据源管理模块、策略管理模块、自动分词模块、摘要关键词模块、实体抽取模块、文本分类模块、文本聚类模块、拼音标注模块、繁简转换模块等。本人主要负责设计实现资源管理部分的相关模块,可以实现大批量快速地处理文本,对其中的关键信息加以提炼,以可视化的数据形态向人们展现数据之间的关联性,亦可通过对词库、规则、数据源的管理与优化实现文本处理的个性化定制。通过这个系统,用户可以在某一特定领域对文本进行更精细的大批量处理,对其中的关键信息加以提炼,提高了工作效率。本系统可以应用于通信、科技、媒体、电商等行业的用户需求分析和数据分析。通过对用户评价、用户反馈问题的语义分析,提取关键词,发现用户集中的问题,进而改善服务,或者从中抓取用户需求,发掘新的机会。目前,该产品已投入使用,总体达到了预期目标。本人负责设计实现的各个模块运行正常,可以满足用户的基本需求,并且各模块均具有很强的可拓展性,有助于后期系统优化和拓展。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：
ＤｉｃＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌｌｅｒ是词库管理的控制类，它将根据页面发出的请求调逡逑用业务类，ＤｉｃｔｉｏｎａｒｙＭａｎｎａｇｅＳｅｒｖｉｃｅｌｍｐｌ是词库管理的业务类，实现了逡逑ＩＤｉｃｔｉｏｎａｒｙＭａｎｎａｇｅｍｅｎｔＳｅｒｖｉｃｅ接口，可以实现查询词库、词数据，编辑词库、词逡逑数据，添加词库、词数据和删除词库、词数据等业务。逡逑ＦｕｎｃｔｉｏｎＤｉｃｔＲｅｐｏｓｉｔｏｒｙ，Ｄｉｃｔｉｏｎａｒｙ邋Ｒｅｐｏｓｉｔｏｒｙ邋和邋ｗｏｒｄＲｅｐｏｓｉｔｏｒｙ邋类分别用来访问词逡逑库、词和词库依赖功能相应数据库表，它们继承自ｊｐａ类，用于实现复杂的查询。逡逑Ｗｏｒｄ和Ｄｉｃｔｉｏｎａｒｙ是词和词库的数据库实体类，用来实现系统对实体对象的数据逡逑操作。逡逑４９逡逑
１）对词库和词的基础操作逡逑用户可以选择一个需要进行操作的词库进行词库的增删查改操作，用来满足逡逑对词库的具体需求（同理，对词本身的操作也是如此）。图５－３为添加词库功能的逡逑时序图：逡逑￥邋ｒＩｒ＾逡逑／邋＼逦词库管理页面邋ＤｉｃＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌｌｅｒ逦Ｄ＇ｃｔｉｏｎａｉｙＭａｎａｇｍｅｎｔ逦ＤｉｃｔｉｏｎａｒｙＲｅｐｏｓｉｔｏｒｙ逦Ｄｉｃｔｉｏｎａｒｙ逡逑用户逦Ｓｅｒｖｉｃｄｍｐｌ逡逑ｉ逦ｊ逦｜逦Ｉ逦ｊ逡逑进入词库管理页面Ｉ逡逑ｒｎ逦Ｉ逦ｉ逡逑选择添加词库逡逑Ｉ—■逦逦ｈ＊－逡逑ｄｉｃＡｄｄ0逡逑逦逦１￣Ｔ－ｎ逦—逦１逦ｉ逦逡逑￣；逦Ａｌｔ邋Ｊ逦ＡｄｄＤｉｃｔｉｃｍａｒｙＯ逦＼＿＿逡逑＿ｒ逦１邋ｆｉｎｄＢｙＱｗｎｅｒｌｄＡｎｄＮａｍｃＱ逡逑［ｅｘｉｓｔｅｄＤｉｃｔ！邋ｎｕｌｌ］逦Ｉ—．￣ｌ＂逡逑ｉｔ逦添加失败逡逑ｒ＾ｎ．逦添加失畋邋逦－－－－－逦ｈ－ｌ逡逑［ｅｌｓｅ］逦逦ＡｄｄＤｉｃｔｉｏｎａｒｙＯ逦ｆｉｎｄＢｙＯｗｎｅｒｌｄＡｎｄＮａｍｄＱ逡逑，．．．ｒｈ，邋添加成功厂逦鹿加瑰Ｓ——逡逑！逦＜－逦生峡邋＜逦…？……Ｌ／逦Ｖ逡逑逦＝ｆ逦１＿＿逡逑ｒＨ返回用户页面…逦Ｉ逡逑？逦逦Ｊ邋＿＿邋！逡逑图５－３词库添加时序图逡逑Ｆｉｇｕｒｅ邋５－３邋Ｓｅｑｕｅｎｃｅ邋Ｄｉａｇｒａｍ邋ｏｆ邋Ｔｈｅｓａｕｒｕｓ邋Ａｄｄｉｔｉｏｎ逡逑当用户使用词库管理功能时，首先会调用ｌｉｓｔＤｉｃｔｓＯ方法，对所有词库进行分逡逑页查询
３）增加词界面逡逑输入正确用户名密码后点击词库管理按钮进入词库管理主界面，再选择要操逡逑作的词库进入词库详细信息界面。点击添加词按钮弹出弹框，输入需要添加的词逡逑名，选择正确的词性，最后加入合适的词频，点击确认键就可以成功添加词了。逡逑由于篇幅限制添加成功界面将不再进行展示。词添加界面如图５－６所示：逡逑}犲危义希浚簦幔徨澹殄迳洗椋徨义希靛危校峰濉ⅲ俊板五危睿蝈澹睿澹颍礤澹垮澹澹蝈澹睿睿蓿颍颍蓿颍颍停颍幔危В浚浚澹澹垮义希使堂疲唬椋樱咤危劐澹穑坼义县唬荩褐蠽铮义希掊危澹礤澹宕拭疲哄伟＜板义希哄蚊叔
本文编号：2797213
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.52
【图文】：
ＤｉｃＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌｌｅｒ是词库管理的控制类，它将根据页面发出的请求调逡逑用业务类，ＤｉｃｔｉｏｎａｒｙＭａｎｎａｇｅＳｅｒｖｉｃｅｌｍｐｌ是词库管理的业务类，实现了逡逑ＩＤｉｃｔｉｏｎａｒｙＭａｎｎａｇｅｍｅｎｔＳｅｒｖｉｃｅ接口，可以实现查询词库、词数据，编辑词库、词逡逑数据，添加词库、词数据和删除词库、词数据等业务。逡逑ＦｕｎｃｔｉｏｎＤｉｃｔＲｅｐｏｓｉｔｏｒｙ，Ｄｉｃｔｉｏｎａｒｙ邋Ｒｅｐｏｓｉｔｏｒｙ邋和邋ｗｏｒｄＲｅｐｏｓｉｔｏｒｙ邋类分别用来访问词逡逑库、词和词库依赖功能相应数据库表，它们继承自ｊｐａ类，用于实现复杂的查询。逡逑Ｗｏｒｄ和Ｄｉｃｔｉｏｎａｒｙ是词和词库的数据库实体类，用来实现系统对实体对象的数据逡逑操作。逡逑４９逡逑
１）对词库和词的基础操作逡逑用户可以选择一个需要进行操作的词库进行词库的增删查改操作，用来满足逡逑对词库的具体需求（同理，对词本身的操作也是如此）。图５－３为添加词库功能的逡逑时序图：逡逑￥邋ｒＩｒ＾逡逑／邋＼逦词库管理页面邋ＤｉｃＭａｎａｇｅｍｅｎｔＣｏｎｔｒｏｌｌｅｒ逦Ｄ＇ｃｔｉｏｎａｉｙＭａｎａｇｍｅｎｔ逦ＤｉｃｔｉｏｎａｒｙＲｅｐｏｓｉｔｏｒｙ逦Ｄｉｃｔｉｏｎａｒｙ逡逑用户逦Ｓｅｒｖｉｃｄｍｐｌ逡逑ｉ逦ｊ逦｜逦Ｉ逦ｊ逡逑进入词库管理页面Ｉ逡逑ｒｎ逦Ｉ逦ｉ逡逑选择添加词库逡逑Ｉ—■逦逦ｈ＊－逡逑ｄｉｃＡｄｄ0逡逑逦逦１￣Ｔ－ｎ逦—逦１逦ｉ逦逡逑￣；逦Ａｌｔ邋Ｊ逦ＡｄｄＤｉｃｔｉｃｍａｒｙＯ逦＼＿＿逡逑＿ｒ逦１邋ｆｉｎｄＢｙＱｗｎｅｒｌｄＡｎｄＮａｍｃＱ逡逑［ｅｘｉｓｔｅｄＤｉｃｔ！邋ｎｕｌｌ］逦Ｉ—．￣ｌ＂逡逑ｉｔ逦添加失败逡逑ｒ＾ｎ．逦添加失畋邋逦－－－－－逦ｈ－ｌ逡逑［ｅｌｓｅ］逦逦ＡｄｄＤｉｃｔｉｏｎａｒｙＯ逦ｆｉｎｄＢｙＯｗｎｅｒｌｄＡｎｄＮａｍｄＱ逡逑，．．．ｒｈ，邋添加成功厂逦鹿加瑰Ｓ——逡逑！逦＜－逦生峡邋＜逦…？……Ｌ／逦Ｖ逡逑逦＝ｆ逦１＿＿逡逑ｒＨ返回用户页面…逦Ｉ逡逑？逦逦Ｊ邋＿＿邋！逡逑图５－３词库添加时序图逡逑Ｆｉｇｕｒｅ邋５－３邋Ｓｅｑｕｅｎｃｅ邋Ｄｉａｇｒａｍ邋ｏｆ邋Ｔｈｅｓａｕｒｕｓ邋Ａｄｄｉｔｉｏｎ逡逑当用户使用词库管理功能时，首先会调用ｌｉｓｔＤｉｃｔｓＯ方法，对所有词库进行分逡逑页查询
３）增加词界面逡逑输入正确用户名密码后点击词库管理按钮进入词库管理主界面，再选择要操逡逑作的词库进入词库详细信息界面。点击添加词按钮弹出弹框，输入需要添加的词逡逑名，选择正确的词性，最后加入合适的词频，点击确认键就可以成功添加词了。逡逑由于篇幅限制添加成功界面将不再进行展示。词添加界面如图５－６所示：逡逑}犲危义希浚簦幔徨澹殄迳洗椋徨义希靛危校峰濉ⅲ俊板五危睿蝈澹睿澹颍礤澹垮澹澹蝈澹睿睿蓿颍颍蓿颍颍停颍幔危В浚浚澹澹垮义希使堂疲唬椋樱咤危劐澹穑坼义县唬荩褐蠽铮义希掊危澹礤澹宕拭疲哄伟＜板义希哄蚊叔
本文编号：2797213
本文链接：https://www.wllwen.com/guanlilunwen/yunyingzuzhiguanlilunwen/2797213.html
