一种基于Map/Reduce分布式计算的恒星光谱分类方法
发布时间：2021-02-21 19:55
天体光谱中蕴含着非常丰富的天体物理信息,通过对光谱的分析,可以得到天体的物理信息、化学成分以及天体的大气参数等。随着LAMOST和SDSS等大规模巡天望远镜的实施,将会产生海量的光谱数据,尤其是LAMOST正式运行后,每个观测夜产生大约24万条光谱数据。如此海量的光谱数据对光谱的快速有效的处理提出了更高的要求。恒星光谱的自动分类是光谱处理的一项基本内容,该研究主要工作就是研究海量恒星光谱的自动分类技术。Lick线指数是在天体光谱上定义的一组用以描述光谱中谱线强度的标准指数,代表光谱的物理特性,以每个线指数最突出的吸收线命名,是一个相对较宽的光谱特征。研究了基于Lick线指数的贝叶斯光谱分类方法,对F,G,K三类恒星进行分类。首先,计算各类光谱的Lick线指数作为特征向量,然后利用贝叶斯分类算法对三类恒星进行分类。针对海量光谱的情况,基于Hadoop平台实现了Lick线指数的计算,以及利用贝叶斯决策进行光谱分类的方法。利用HadoopHDFS高吞吐率和高容错性的特点,结合Hadoop MapReduce编程模型的并行优势,提高了对大规模光谱数据的分析和处理效率。该研...
【文章来源】：光谱学与光谱分析. 2016,36(08)北大核心
【文章页数】：4 页
【部分图文】：
图１三种类型光谱在不同核窗宽度下的??贝叶斯分类准确率比较??
ｅｎ窗法对类条件概率密度进行估计时，窗宽和?单机模式?４?４８５??核函数的选择会对估计效果有影响。由于高斯核函数（又称?集群＾式?＾???为正态分布函数）具有连续性，利用Ｐａｒｚｅｎ窗法计算概率密??度函数时是通过对高斯麵細加和翻的，因此计算出来??的概率密度函数也具有连续性，相应的概率密度曲线也更光Ｍ会对估计效果街影响。本文在［〇．丄’２．０］范围内’以０＿?１??滑，因此本文选择高臟函数作为核函数?Ｍ长’对不同＿宽进行了分类实验’?＿的分类正＿??，?，?如图１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本节使用的实验数据是由ＳＤＳＳ发布的ＤＲ８恒星光谱?穿〇＃＞、一＾二一??数据，选取Ｆ，?Ｇ，?Ｋ三种星型的光谱数据。其中，取＇信噪比?｜?ａ８６＿??为１００的４６６０条光谱数据作为训练样本，信噪比大于２０的?■?〇．８４＿??２８４?８７５条光谱数据作为测试样本。根据第２节介绍的方法?Ｉ??分别计算出训练样本和测试样本的Ｌｉｃｋ线指数作为本次实?｜Ｑ７８＿?／??验的输人数据。?Ｕ?０．７６－?＾??实验的目标是基于ＭａｐＲｅｄｕｃｅ计算模型实现贝叶斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??类，由于对每个测试样本进行贝叶斯分类的过程是独立的计?＊??算过程，与其他测试样本不存在计算顺序上的相关性，根据?图１三种类型光谱在不同核窗宽度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ计算模型的分布式原理，可以将测试样?贝叶斯分类准确率比较??本分割后分布在多个节点上进行贝叶斯决策的计算过程。测?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法对类条件概率密度进行估计时，窗宽和?单机模式?４?４８５??核函数的选择会对估计效果有影响。由于高斯核函数（又称?集群＾式?＾???为正态分布函数）具有连续性，利用Ｐａｒｚｅｎ窗法计算概率密??度函数时是通过对高斯麵細加和翻的，因此计算出来??的概率密度函数也具有连续性，相应的概率密度曲线也更光Ｍ会对估计效果街影响。本文在［〇．丄’２．０］范围内’以０＿?１??滑，因此本文选择高臟函数作为核函数?Ｍ长’对不同＿宽进行了分类实验’?＿的分类正＿??，?，?如图１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本节使用的实验数据是由ＳＤＳＳ发布的ＤＲ８恒星光谱?穿〇＃＞、一＾二一??数据，选取Ｆ，?Ｇ，?Ｋ三种星型的光谱数据。其中，取＇信噪比?｜?ａ８６＿??为１００的４６６０条光谱数据作为训练样本，信噪比大于２０的?■?〇．８４＿??２８４?８７５条光谱数据作为测试样本。根据第２节介绍的方法?Ｉ??分别计算出训练样本和测试样本的Ｌｉｃｋ线指数作为本次实?｜Ｑ７８＿?／??验的输人数据。?Ｕ?０．７６－?＾??实验的目标是基于ＭａｐＲｅｄｕｃｅ计算模型实现贝叶斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??类，由于对每个测试样本进行贝叶斯分类的过程是独立的计?＊??算过程，与其他测试样本不存在计算顺序上的相关性，根据?图１三种类型光谱在不同核窗宽度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ计算模型的分布式原理，可以将测试样?贝叶斯分类准确率比较??本分割后分布在多个节点上进行贝叶斯决策的计算过程。测?Ｆｉｇ．?１?Ｂａｙｅｓ
【参考文献】：
期刊论文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文编号：3044839
【文章来源】：光谱学与光谱分析. 2016,36(08)北大核心
【文章页数】：4 页
【部分图文】：
图１三种类型光谱在不同核窗宽度下的??贝叶斯分类准确率比较??
ｅｎ窗法对类条件概率密度进行估计时，窗宽和?单机模式?４?４８５??核函数的选择会对估计效果有影响。由于高斯核函数（又称?集群＾式?＾???为正态分布函数）具有连续性，利用Ｐａｒｚｅｎ窗法计算概率密??度函数时是通过对高斯麵細加和翻的，因此计算出来??的概率密度函数也具有连续性，相应的概率密度曲线也更光Ｍ会对估计效果街影响。本文在［〇．丄’２．０］范围内’以０＿?１??滑，因此本文选择高臟函数作为核函数?Ｍ长’对不同＿宽进行了分类实验’?＿的分类正＿??，?，?如图１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本节使用的实验数据是由ＳＤＳＳ发布的ＤＲ８恒星光谱?穿〇＃＞、一＾二一??数据，选取Ｆ，?Ｇ，?Ｋ三种星型的光谱数据。其中，取＇信噪比?｜?ａ８６＿??为１００的４６６０条光谱数据作为训练样本，信噪比大于２０的?■?〇．８４＿??２８４?８７５条光谱数据作为测试样本。根据第２节介绍的方法?Ｉ??分别计算出训练样本和测试样本的Ｌｉｃｋ线指数作为本次实?｜Ｑ７８＿?／??验的输人数据。?Ｕ?０．７６－?＾??实验的目标是基于ＭａｐＲｅｄｕｃｅ计算模型实现贝叶斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??类，由于对每个测试样本进行贝叶斯分类的过程是独立的计?＊??算过程，与其他测试样本不存在计算顺序上的相关性，根据?图１三种类型光谱在不同核窗宽度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ计算模型的分布式原理，可以将测试样?贝叶斯分类准确率比较??本分割后分布在多个节点上进行贝叶斯决策的计算过程。测?Ｆｉｇ．?１?Ｂａｙｅｓ
ｅｎ窗法对类条件概率密度进行估计时，窗宽和?单机模式?４?４８５??核函数的选择会对估计效果有影响。由于高斯核函数（又称?集群＾式?＾???为正态分布函数）具有连续性，利用Ｐａｒｚｅｎ窗法计算概率密??度函数时是通过对高斯麵細加和翻的，因此计算出来??的概率密度函数也具有连续性，相应的概率密度曲线也更光Ｍ会对估计效果街影响。本文在［〇．丄’２．０］范围内’以０＿?１??滑，因此本文选择高臟函数作为核函数?Ｍ长’对不同＿宽进行了分类实验’?＿的分类正＿??，?，?如图１所示。??ＫＵ）?＝７ｌｆＸＰ（—（５）?０．９２＾??本节使用的实验数据是由ＳＤＳＳ发布的ＤＲ８恒星光谱?穿〇＃＞、一＾二一??数据，选取Ｆ，?Ｇ，?Ｋ三种星型的光谱数据。其中，取＇信噪比?｜?ａ８６＿??为１００的４６６０条光谱数据作为训练样本，信噪比大于２０的?■?〇．８４＿??２８４?８７５条光谱数据作为测试样本。根据第２节介绍的方法?Ｉ??分别计算出训练样本和测试样本的Ｌｉｃｋ线指数作为本次实?｜Ｑ７８＿?／??验的输人数据。?Ｕ?０．７６－?＾??实验的目标是基于ＭａｐＲｅｄｕｃｅ计算模型实现贝叶斯分?°＇７４！）?〇：２?〇：４?０：６?０：８?１．０?１：２?１：４?１．６?１：８￣７〇??类，由于对每个测试样本进行贝叶斯分类的过程是独立的计?＊??算过程，与其他测试样本不存在计算顺序上的相关性，根据?图１三种类型光谱在不同核窗宽度下的??ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ计算模型的分布式原理，可以将测试样?贝叶斯分类准确率比较??本分割后分布在多个节点上进行贝叶斯决策的计算过程。测?Ｆｉｇ．?１?Ｂａｙｅｓ
【参考文献】：
期刊论文
[1]Search for carbon stars and DZ white dwarfs in SDSS spectra survey through machine learning[J]. SI JianMin,LUO ALi,LI YinBi,ZHANG JianNan,WEI Peng,WU YiHong,WU FuChao,ZHAO YongHeng. Science China（Physics,Mechanics & Astronomy）. 2014(01)
[2]The Large Sky Area Multi-Object Fiber Spectroscopic Telescope （LAMOST）[J]. Xiang-Qun Cui2, Yong-Heng Zhao1, Yao-Quan Chu3, Guo-Ping Li2, Qi Li1, Li-Ping Zhang2, Hong-Jun Su1, Zheng-Qiu Yao2, Ya-Nan Wang2, Xiao-Zheng Xing3, Xin-Nan Li2, Yong-Tian Zhu2, Gang Wang1, Bo-Zhong Gu2, A-Li Luo1, Xin-Qi Xu2, Zhen-Chao Zhang2, Gen-Rong Liu2, Hao-Tong Zhang1, De-Hua Yang2, Shu-Yun Cao1, Hai-Yuan Chen2, Jian-Jun Chen1, Kun-Xin Chen2, Ying Chen1, Jia-Ru Chu3, Lei Feng1, Xue-Fei Gong2, Yong-Hui Hou2, Hong-Zhuan Hu3, Ning-Sheng Hu2, Zhong-Wen Hu2, Lei Jia1, Fang-Hua Jiang2, Xiang Jiang2, Zi-Bo Jiang2, Ge Jin3, Ai-Hua Li2, Yan Li4, Ye-Ping Li2, Guan-Qun Liu2, Zhi-Gang Liu3, Wen-Zhi Lu2, Yin-Dun Mao4, Li Men1, Yong-Jun Qi2, Zhao-Xiang Qi4, Huo-Ming Shi1, Zheng-Hong Tang4, Qing-Sheng Tao2, Da-Qi Wang1, Dan Wang1, Guo-Min Wang2, Hai Wang2, Jia-Ning Wang2, Jian Wang3, Jian-Ling Wang1, Jian-Ping Wang3, Lei Wang2, Shu-Qing Wang1, You Wang2, Yue-Fei Wang2, Ling-Zhe Xu2, Yan Xu1, Shi-Hai Yang2, Yong Yu4, Hui Yuan1, Xiang-Yan Yuan2, Chao Zhai3, Jing Zhang5, Yan-Xia Zhang1, Yong Zhang2, Ming Zhao4, Fang Zhou2, Guo-Hua Zhou2, Jie Zhu2 and Si-Cheng Zou1 1 National Astronomical Observatories, Chinese Academy of Sciences, Beijing 100012, China; 2 Nanjing Institute of Astronomical Optics and Technology, National Astronomical Observatories, Chinese Academy of Sciences, Nanjing 210042, China 3 University of Science and Technology of China, Hefei 230026, China 4 Shanghai Astronomical Observatory, Chinese Academy of Sciences, Shanghai 200030, China 5 Institute of Architecture Design and Research, Chinese Academy of Sciences, Beijing 100190, China. Research in Astronomy and Astrophysics. 2012(09)
[3]LAMOST Experiment for Galactic Understanding and Exploration （LEGUE）——The survey’s science plan[J]. Heidi Jo Newberg,Jeffrey L. Carlin,Timothy C. Beers,Norbert Christlieb,Carl J. Grillmair,Puragra Guhathakurta,Hsu-Tai Lee,Sbastien Lpine,J. A. Sellwood,Brian Yanny. Research in Astronomy and Astrophysics. 2012(07)
本文编号：3044839
本文链接：https://www.wllwen.com/kejilunwen/tianwen/3044839.html
