基于HBase的HLS-Ⅱ数据存档与检索系统开发

发布时间：2022-12-23 03:48

　　HLS-Ⅱ（Hefei Light Source-Ⅱ）是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统（HBase-base Data Archiving and Retrieving System,HDARS）,以提高历史数据的检索速度。HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据。原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据。该系统自投入运行以来,性能稳定,可以在1 s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求。这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题。 

【文章页数】：5 页

【文章目录】：
1 HDARS系统架构
2 HBase数据存储
3 数据查询与可视化
4 结语


【参考文献】：
期刊论文
[1]基于大数据平台的EPICS历史数据归档系统[J]. 李嘉曾,韩利峰,李丹清,黄文博,吴丽梅,张立园.  核技术. 2019(11)
[2]Automatic data archiving and visualization at HLS-Ⅱ[J]. Yi-Fan Song,Chuan Li,Ke Xuan,Gong-Fa Liu.  Nuclear Science and Techniques. 2018(09)
[3]基于Archiver Appliance的束线数据管理系统[J]. 赵子龙,徐慧超,龚培荣.  核技术. 2018(03)
[4]HLS-Ⅱ储存环束流清洗状况[J]. 文鹏权,宋一凡,李兵,宣科,刘功发.  核技术. 2015(10)

硕士论文
[1]HLS-Ⅱ历史数据查询与分析系统[D]. 文鹏权.中国科学技术大学 2016



本文编号：3724655