用MapReduce实现天文星表交叉认证

发布时间：2018-01-14 16:32

本文关键词：用MapReduce实现天文星表交叉认证　出处：《计算机应用研究》2010年10期 　论文类型：期刊论文

【摘要】：天文星表的交叉认证是天文研究中非常重要的基础工作。新巡天项目和更强大望远镜的投入使用,使天文数据爆炸增长,数据量的增加使得两个星表之间的交叉认证变得非常耗时。描述了如何利用MapReduce实现并行天文星表交叉认证,综合考虑了算法与体系结构的匹配问题,并给出了在大数据天文星表交叉认证工作的性能评估,通过与广泛使用的PostgreSQL数据库的比较,证明了基于MapReduce交叉认证方法的有效性。
[Abstract]:The cross-certification of the astrological catalogue is a very important basic work in astronomical research. The new survey project and the use of more powerful telescopes have made astronomical data exploding. The increase of data amount makes cross-authentication between two catalogs very time-consuming. This paper describes how to use MapReduce to implement parallel astronomical catalog cross-authentication. The matching problem between algorithm and architecture is considered synthetically, and the performance evaluation of large data astronomical catalogue cross certification is given, and the comparison with the widely used PostgreSQL database is given. The validity of cross-authentication method based on MapReduce is proved.
【作者单位】：北京天文馆信息中心;中国科学院计算技术研究所;北京师范大学天文系;
【基金】：北京市自然科学基金资助项目(1052008)
【分类号】：P114
【正文快照】： 0引言天文学正在进入一个多波段数字巡天的时代,许多巡天项目已经获得很好的数据,而更多巡天项目和更大型观测设备将被实施、建造,从射电波段到微波、红外、可见光、紫外、x射线,整个波段都会被覆盖。这些巡天项目产生的数据量通常可以达到TB甚至PB级,这些数据也将成为天文数

【参考文献】