自然语言处理能力开放平台的设计与实现
发布时间：2021-09-30 13:50
随着Web3.0时代的逐步到来,去中心化的互联网应用对人工智能和搜索引擎技术提出了更高的要求。自然语言处理作为人工智能与搜索引擎的基础步骤之一,需保证处理过程的正确性、快速性及稳定性。但自然语言处理本质是一个多边缘的交叉学科,在理论与实践方面均有相当的复杂性,大大增加了相关应用的开发难度。通过借鉴开放平台的服务理念,将复用程度较高的算法抽象出来,形成功能分明的能力,以Open API（Application Programming Interface）的形态提供给第三方开发者使用,可以显著降低自然语言处理应用的开发门槛,从而提升工业界的生产力。本文将自然语言处理与开放平台相结合,设计并实现了自然语言处理能力开放平台。本文将开放平台划分成了服务接入层、平台层、算法层、通信层与门户系统。在服务接入层,基于Oauth2.0标准实现了鉴权机制,通过HTTPS协议保证了网络安全通信,着重对比了漏桶算法与令牌桶算法在解决流控问题时的基本思想与适用场景,并基于令牌桶算法实现了服务维度与调用方维度的限频策略、限时策略与白名单过滤策略;在平台层,首先采用REST（Representational Sta...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
图２－１?ＲＰＣ执行流程［ｎ］??首先业务程序调用ｃｌｉｅｎｔ?ｆｕｎｃｔｉｏｎｓ发起ＲＰＣ请求，再由客户端句柄ｃｌｉｅｎｔ?ｓｔｕｂ??
Ｐｒｏｄｕｃｅｒ?将?Ｍｅｓｓａｇｅ?发送至?Ｂｒｏｋｅｒ，再由?Ｃｏｎｓｕｍｅｒ??从Ｂｒｏｋｅｒ中拉取数据消息??上述组件互相依赖与交互构成了?Ｋａｋｆａ集群架构，如图２－２所示，由位于前??端的Ｐｒｏｄｕｃｅｒ节点通过ｐｕｓｈ的方式将消息发送至Ｂｒｏｋｅｒ节点，位于后端的??Ｃｏｎｓｕｍｅｒ节点主动ｐｕｌｌ的方式拉取Ｂｒｏｋｅｒ节点上的消息进行消费，并由??ＺｏｏＫｅｅｐｅｒ负责协调Ｂｒｏｋｅｒ与Ｃｏｎｓｕｍｅｒ的动态加入与离开，也管理Ｔｏｐｉｃ与??Ｂｒｏｋｅｒ的映射关系，提供给Ｐｒｏｄｕｃｅｒ注册Ｗａｔｃｈｅｒ以便实时推送Ｔｏｐｉｃ的Ｐａｒｔｉｔｉｏｎ??信息，同时维护所有节点的心跳。?????Ｐｒｏｄｕｃｅｒ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｍ?Ｅｎｄ??ｐｕｓｈ＼?一一一一?／?ｐｕｓｉｒ＂??Ｂｒｏｋｅｒ?（?Ｋａｆｋａ?）?丨ＩＣａｆｋａＪ?（＾ＫａｆｋａＪ?ＺｏｏＫｅｅｐｅｒ?Ｕ??ｐｕｌｌ?ｐｕｌｌ?／?＾＼ｐｕｌｌ?＼＾ｐｕｌｌ?，?、、、｜?＼??ｒ?Ｈａｄｏｏｐ?Ｒｅａｌ－ｔｉｍｅ?Ｏｔｈｅｒ?Ｄａｔａ?／?／?／?／??ｏｎｓｕｍｅｒ?Ｃｌｕｓｔｅｒ?ｍｏｎｉｔｏｒｉｎｇ?Ｓｅｒｖｉｃｅ?Ｗａｒｅｈｏｕｓｅ?ｙ?／?／?／??—?ｔ－?——ｒ?？?
从计算机视角对漏桶算法的描述为：到达的流量首先进入缓存队列，再队列以恒定的出队速率放行流量，累积缓存的流量大小不超过队列容量，满，则对超出部分的流量进行降级处理。需要说明的是，流量既可表示数可表示请求，具体视业务需求而定，在本平台中均针对请求。假设漏桶总５，当前容量为流量的平均到达速率为／？，恒定放行速率为７＼则当１位的流量到达时的算法执行流程为：??Ｓｔｅｐｌ若＆?＋?１＞５，转Ｓｔｅｐ３；若Ｚ７?＋?１Ｓ５，流量入队，等至放行后转ＳｔｅｐＳｔｅｐ２流量出队并放行，缓存队列容量减１，转Ｓｔｅｐ４；??ＳｔｅＰ３按业务场景选择降级策略？．丢弃流量、缓存至等待队列待令牌桶够时处理、对流量做特殊标记当网络过载时丢弃。转Ｓｔｅｐ４；??Ｓｔｅｐ４处理后续到达的流量，转Ｓｔｅｐｌ。??从漏桶算法的流程可以总结出：理想情况下，当时，漏桶的当前持为６?＝?０，即不产生流量堆积，全过程的放行速率固定为ｒ；当时，当长的时间段内，漏桶的当前容量由变化至即从未满变出，全过程的放行速率固定为ｒ。因此无论网络流量的到达速率如何，漏
【参考文献】：
期刊论文
[1]深度学习原理及应用综述[J]. 付文博,孙涛,梁藉,闫宝伟,范福新. 计算机科学. 2018(S1)
[2]自然语言处理中的深度学习:方法及应用[J]. 林奕欧,雷航,李晓瑜,吴佳. 电子科技大学学报. 2017(06)
[3]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[4]基于keepalived的高可用性应用研究[J]. 汪海洋,凌永兴,包丽红,姚萌萌. 电子技术. 2014(07)
[5]开放平台解决方案及其安全策略研究[J]. 朱蔚恒,周伟,龙舜. 计算机工程. 2012(12)
[6]开放平台:运营模式与技术架构研究综述[J]. 马琳,宋俊德,宋美娜. 电信科学. 2012(06)
[7]基于OAuth2.0的认证授权技术[J]. 时子庆,刘金兰,谭晓华. 计算机系统应用. 2012(03)
[8]Linux系统中网络I/O性能改进方法的研究[J]. 李涛,房鼎益,陈晓江,冯健. 计算机工程. 2008(23)
[9]基于Web应用的性能测试与优化[J]. 苏波,李克文. 计算机工程与设计. 2007(18)
[10]基于Java的对象池技术的设计和实现[J]. 刁冬坡,陈平,张立勇,杜军朝. 计算机应用与软件. 2006(02)
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于令牌桶算法的流量控制服务的设计与实现[D]. 仲思惠.大连理工大学 2016
[3]自然语言处理平台化软件的设计与实现[D]. 刘桐仁.东南大学 2015
[4]分布式日志系统的设计与实现[D]. 杨华辉.北京邮电大学 2015
[5]基于ZooKeeper的分布式处理框架的研究与实现[D]. 谭玉靖.北京邮电大学 2014
本文编号：3415998
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【部分图文】：
图２－１?ＲＰＣ执行流程［ｎ］??首先业务程序调用ｃｌｉｅｎｔ?ｆｕｎｃｔｉｏｎｓ发起ＲＰＣ请求，再由客户端句柄ｃｌｉｅｎｔ?ｓｔｕｂ??
Ｐｒｏｄｕｃｅｒ?将?Ｍｅｓｓａｇｅ?发送至?Ｂｒｏｋｅｒ，再由?Ｃｏｎｓｕｍｅｒ??从Ｂｒｏｋｅｒ中拉取数据消息??上述组件互相依赖与交互构成了?Ｋａｋｆａ集群架构，如图２－２所示，由位于前??端的Ｐｒｏｄｕｃｅｒ节点通过ｐｕｓｈ的方式将消息发送至Ｂｒｏｋｅｒ节点，位于后端的??Ｃｏｎｓｕｍｅｒ节点主动ｐｕｌｌ的方式拉取Ｂｒｏｋｅｒ节点上的消息进行消费，并由??ＺｏｏＫｅｅｐｅｒ负责协调Ｂｒｏｋｅｒ与Ｃｏｎｓｕｍｅｒ的动态加入与离开，也管理Ｔｏｐｉｃ与??Ｂｒｏｋｅｒ的映射关系，提供给Ｐｒｏｄｕｃｅｒ注册Ｗａｔｃｈｅｒ以便实时推送Ｔｏｐｉｃ的Ｐａｒｔｉｔｉｏｎ??信息，同时维护所有节点的心跳。?????Ｐｒｏｄｕｃｅｒ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｍ?Ｅｎｄ??ｐｕｓｈ＼?一一一一?／?ｐｕｓｉｒ＂??Ｂｒｏｋｅｒ?（?Ｋａｆｋａ?）?丨ＩＣａｆｋａＪ?（＾ＫａｆｋａＪ?ＺｏｏＫｅｅｐｅｒ?Ｕ??ｐｕｌｌ?ｐｕｌｌ?／?＾＼ｐｕｌｌ?＼＾ｐｕｌｌ?，?、、、｜?＼??ｒ?Ｈａｄｏｏｐ?Ｒｅａｌ－ｔｉｍｅ?Ｏｔｈｅｒ?Ｄａｔａ?／?／?／?／??ｏｎｓｕｍｅｒ?Ｃｌｕｓｔｅｒ?ｍｏｎｉｔｏｒｉｎｇ?Ｓｅｒｖｉｃｅ?Ｗａｒｅｈｏｕｓｅ?ｙ?／?／?／??—?ｔ－?——ｒ?？?
从计算机视角对漏桶算法的描述为：到达的流量首先进入缓存队列，再队列以恒定的出队速率放行流量，累积缓存的流量大小不超过队列容量，满，则对超出部分的流量进行降级处理。需要说明的是，流量既可表示数可表示请求，具体视业务需求而定，在本平台中均针对请求。假设漏桶总５，当前容量为流量的平均到达速率为／？，恒定放行速率为７＼则当１位的流量到达时的算法执行流程为：??Ｓｔｅｐｌ若＆?＋?１＞５，转Ｓｔｅｐ３；若Ｚ７?＋?１Ｓ５，流量入队，等至放行后转ＳｔｅｐＳｔｅｐ２流量出队并放行，缓存队列容量减１，转Ｓｔｅｐ４；??ＳｔｅＰ３按业务场景选择降级策略？．丢弃流量、缓存至等待队列待令牌桶够时处理、对流量做特殊标记当网络过载时丢弃。转Ｓｔｅｐ４；??Ｓｔｅｐ４处理后续到达的流量，转Ｓｔｅｐｌ。??从漏桶算法的流程可以总结出：理想情况下，当时，漏桶的当前持为６?＝?０，即不产生流量堆积，全过程的放行速率固定为ｒ；当时，当长的时间段内，漏桶的当前容量由变化至即从未满变出，全过程的放行速率固定为ｒ。因此无论网络流量的到达速率如何，漏
【参考文献】：
期刊论文
[1]深度学习原理及应用综述[J]. 付文博,孙涛,梁藉,闫宝伟,范福新. 计算机科学. 2018(S1)
[2]自然语言处理中的深度学习:方法及应用[J]. 林奕欧,雷航,李晓瑜,吴佳. 电子科技大学学报. 2017(06)
[3]基于Spark Streaming的实时数据分析系统及其应用[J]. 韩德志,陈旭光,雷雨馨,戴永涛,张肖. 计算机应用. 2017(05)
[4]基于keepalived的高可用性应用研究[J]. 汪海洋,凌永兴,包丽红,姚萌萌. 电子技术. 2014(07)
[5]开放平台解决方案及其安全策略研究[J]. 朱蔚恒,周伟,龙舜. 计算机工程. 2012(12)
[6]开放平台:运营模式与技术架构研究综述[J]. 马琳,宋俊德,宋美娜. 电信科学. 2012(06)
[7]基于OAuth2.0的认证授权技术[J]. 时子庆,刘金兰,谭晓华. 计算机系统应用. 2012(03)
[8]Linux系统中网络I/O性能改进方法的研究[J]. 李涛,房鼎益,陈晓江,冯健. 计算机工程. 2008(23)
[9]基于Web应用的性能测试与优化[J]. 苏波,李克文. 计算机工程与设计. 2007(18)
[10]基于Java的对象池技术的设计和实现[J]. 刁冬坡,陈平,张立勇,杜军朝. 计算机应用与软件. 2006(02)
硕士论文
[1]基于Nginx的高并发访问服务器的研究与应用[D]. 陈大才.中国科学院大学(中国科学院沈阳计算技术研究所) 2018
[2]基于令牌桶算法的流量控制服务的设计与实现[D]. 仲思惠.大连理工大学 2016
[3]自然语言处理平台化软件的设计与实现[D]. 刘桐仁.东南大学 2015
[4]分布式日志系统的设计与实现[D]. 杨华辉.北京邮电大学 2015
[5]基于ZooKeeper的分布式处理框架的研究与实现[D]. 谭玉靖.北京邮电大学 2014
本文编号：3415998
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3415998.html
最近更新
教材专著
