“天池”挖掘 宇內探秘

危樓高百尺， 手可摘星辰。

不敢高聲語， 恐驚天上人。

李白的這首《夜宿山寺》道出了自古人們對太空探索的渴望。 借本次國家天文臺與阿裡雲天文大資料聯合研究中心共同舉辦“天文資料採擷”天池大賽的機會， 我們拜訪了國家天文臺懷柔太陽觀測站。 在這個“手可摘星辰”的地方， 深入瞭解一下， 如何借助阿裡雲的大資料採擷能力， 去深入探索宇宙的秘密。

“天眼”尋天 數據挑戰

國家重大科技基礎設施 500米口徑球面射電望遠鏡（FAST）， 位於貴州省黔南布依族自治州州平塘縣克度鎮金科村的“大窩氹”窪地

在本次活動中， 中國科學院國家天文臺研究員、資訊與計算中心主任崔辰州博導向我們介紹了在天文觀測中遇到的資料挑戰：

被譽為“中國天眼”的FAST是世界最大單口徑、最靈敏的射電望遠鏡。 理論上說， FAST能接收到137億光年以外的電磁信號， 這個距離接近於宇宙的邊緣。 FAST這將是一個100億光年的數字宇宙。

在FAST早期科技的時候， 將會採用漂移掃描的觀測模式， 這種觀測模式會採用19波束的接收機， 它的頻寬是400兆赫茲， 通過1G的頻率進行采料， 原始資料的產生率是38個GB每秒， 壓縮後會小大概是原來的1/5到1/6， 也就是6GB每秒。

進入正式科學觀測後， 每天將產生50TB（1TB=1000GB）的資料。 這樣計算下來， 每年會有數百PB（1PB=1000TB）的資料資料產生。 國內除了FAST， 我們還有像郭守敬望遠鏡、悟空天眼衛星， 以及在南極的天文臺等等很多的項目。 這些國內外的項目， 其實帶給我們的就是大資料。 這些資料是天文學家做科學研究、探索宇宙奧秘的精神食糧。

現在一塊3.5英寸的存儲硬碟容量在8-12TB之間， 以10TB來計算， 數百PB的資料量， 就至少需要數萬塊硬碟來進行支援。 可以說， “天文數字”一詞直觀體現了天文學面臨的首要挑戰：海量資料存儲和超大規模計算。 根據預測， 到2025年， 天文觀測相關的資料獲取量將達到每年250億TB。 在一般的資料中心中， 即便是將這些資料存儲下來， 可能都是一件無能為力的事情。

更何況還需要對這些海量的天文資料進行分析處理， 從中挖掘出對我們有用的天文資訊。

用雲存儲 天文資料

雲計算可以通過統一計算的方式提供出強大分析計算能力， 還可以利用分散式存儲提供海量資料的存儲。 這些天文數字的天文資料， 是不是也可以通過雲存儲技術來進行存儲呢？可是在國內又哪家雲計算廠商可以提供如此巨大規模的雲計算系統呢？

阿裡雲直面了這個挑戰。 阿裡雲自主研發的飛天超大規模通用計算作業系統， 能夠將百萬級的伺服器連成一台超級電腦， 提供強大的計算能力。 2016年10月雲棲大會·杭州峰會上， 中科院國家天文臺與阿裡雲宣佈結為戰略合作夥伴， 雙方將共同開展跨領域的前沿科學研究和應用合作。

成立“國家天文臺-阿裡雲天文大資料聯合研究中心”；共同完成中國虛擬天文臺上雲項目， 打造全生命週期的天文大資料管理與開放共用平臺；開發雲上天文應用軟體與服務；推進資料驅動的天文科普教育， 通過互聯網與大眾共用數位宇宙；針對光學天文、射電天文、數值模擬和資料採擷等領域的大資料技術與應用開展深度合作等。 雙方將以中國虛擬天文臺為抓手， 逐步實現國家天文臺科技資源“上雲”。

阿裡雲總裁胡曉明表示：“中國射電望遠鏡的能力， 加上中國的計算能力， 將通過互聯網分享給全世界的天文科研工作者及愛好者。 這正是我們所追求的普惠科技和無法計算的價值。

在阿裡雲國家天文臺的合作中，中國天文臺主節點已成功上雲，涉及10億個天體的資料通過雲端的虛擬天文臺向全球開放，包括LAMOST郭守敬望遠鏡。未來“中國天眼”FAST資料也將傳輸到阿裡雲上。上雲後，虛擬天文臺生成資料產品的週期將由原來的180天縮短到20天；資料的處理效率提升了20多倍（由一周縮減為8小時）。

天池助力 探索宇宙

天文資料不只需要在雲上進行存儲，同時還需要對這些資料進行分析，從而獲得對宇宙的新發現。這就需要借助非常精准的大資料分析演算法來對這些海量的天文資料進行深度的挖掘。然而對天文資料的分析，無論在中國還是在全球，都可以算得上是一個創舉，也都是處於摸索之中。如何為天文資料找到理想的資料分析演算法，也是一個全新的天文科學探索課題。

天池大資料競賽是阿裡雲為深度挖掘大資料分析潛力而推出的一項競賽活動，讓參賽選手用演算法解決社會或業務問題。在2018年1月19日，在國家天文臺-阿裡雲天文大資料聯合研究中心共同宣佈啟動“天文資料採擷”天池大賽，面向公眾開放天文科學探索課題，為選手提供雲計算、人工智慧技術，分析望遠鏡收集的真實天文資料，大賽吸引了近千人報名。

我們在這裡也希望，通過這項賽事，可以為宇宙的探索尋找到適用的演算法，讓“手可摘星辰”的夢想可以早日實現。

在阿裡雲國家天文臺的合作中，中國天文臺主節點已成功上雲，涉及10億個天體的資料通過雲端的虛擬天文臺向全球開放，包括LAMOST郭守敬望遠鏡。未來“中國天眼”FAST資料也將傳輸到阿裡雲上。上雲後，虛擬天文臺生成資料產品的週期將由原來的180天縮短到20天；資料的處理效率提升了20多倍（由一周縮減為8小時）。

天池助力 探索宇宙

天文資料不只需要在雲上進行存儲，同時還需要對這些資料進行分析，從而獲得對宇宙的新發現。這就需要借助非常精准的大資料分析演算法來對這些海量的天文資料進行深度的挖掘。然而對天文資料的分析，無論在中國還是在全球，都可以算得上是一個創舉，也都是處於摸索之中。如何為天文資料找到理想的資料分析演算法，也是一個全新的天文科學探索課題。

天池大資料競賽是阿裡雲為深度挖掘大資料分析潛力而推出的一項競賽活動，讓參賽選手用演算法解決社會或業務問題。在2018年1月19日，在國家天文臺-阿裡雲天文大資料聯合研究中心共同宣佈啟動“天文資料採擷”天池大賽，面向公眾開放天文科學探索課題，為選手提供雲計算、人工智慧技術，分析望遠鏡收集的真實天文資料，大賽吸引了近千人報名。

我們在這裡也希望，通過這項賽事，可以為宇宙的探索尋找到適用的演算法，讓“手可摘星辰”的夢想可以早日實現。