海量數(shù)據(jù)處理(如何處理PB級海量數(shù)據(jù)？)

天文學的核心在于數(shù)據(jù)。隨著我們對宇宙認識的加深，我們掌握的信息越來越多。下一代天文學研究的核心挑戰(zhàn)是如何充分研究我們收集到的數(shù)據(jù)。

為了應對這些挑戰(zhàn)，天文學家開始轉向機器學習和人工智能(AI)，希望建立新的工具，快速尋求新的突破。人工智能技術也在以下四個方面幫助天文學家。

發(fā)現(xiàn)這個星球

發(fā)現(xiàn)行星的方法有很多，但成功率最高的可靠方法是對凌日現(xiàn)象的研究。所謂凌日，就是當一顆系外行星從其軌道運行的恒星面前經過時，必然會遮擋我們可以觀測到的光線。

通過觀察系外行星的不同軌道，天文學家構建了凌日圖像，并使用它們來識別目標行星的實際特征，如其質量、大小和與恒星的距離。美國宇航局的開普勒望遠鏡空利用這項技術取得了巨大成功，它可以同時觀測數(shù)千顆恒星，并密切關注各自行星產生的凌日現(xiàn)象。

當行星移動到環(huán)繞恒星的前方時，我們會看到光線減弱，這就是所謂的凌日現(xiàn)象。

天文學家可以準確觀測凌日現(xiàn)象，但相關技能需要一段時間的培養(yǎng)。隨著人們越來越致力于尋找新的系外行星，僅靠人力很難跟上NASA凌日系外行星調查衛(wèi)星的捕捉速度。在這方面，AI技術正好有機會大顯身手。

將時間序列分析技術——將數(shù)據(jù)作為時間序列進行分析——與AI技術相結合，可以成功識別系外行星信號，準確率高達96%。

引力波

時間序列模型不僅適用于尋找系外行星，還能有效追蹤宇宙中最具破壞性的災難性信號——黑洞或中子星的坍縮。

當這些密度極高的天體坍縮時，會在小時空產生巨大的引力漣漪，人類可以通過測量地球上出現(xiàn)的微弱信號來探測這些漣漪。引力波探測器合作公司Ligo和Virgo在機器學習的幫助下成功識別了數(shù)十起此類事件。

在黑洞塌縮模擬數(shù)據(jù)訓練的模型的幫助下，Ligo和Virgo團隊能夠在事件發(fā)生的那一刻發(fā)現(xiàn)事件，并向世界各地的天文學家發(fā)出通知，指導他們及時將望遠鏡指向正確的方向。

多變的天空

智利目前正在建設的維拉魯賓天文臺一旦正式啟動，將能夠每晚進行全夜空測量，一次性收集超過80 TB的圖像數(shù)據(jù)，從而全面觀測宇宙中的恒星和星系如何隨時間變化。順便說一下，1 TB代表80億比特。

根據(jù)運行計劃，未來的維拉魯賓天文臺將收集和處理數(shù)百Pb的數(shù)據(jù)。作為參考，臉書上所有圖像存儲的總空空間約為100 PB，換算成全高清視頻長度約為700年。

顯然，如此龐大的數(shù)據(jù)量，可能無法登錄服務器進行下載；即使下載完成，內容搜索也無法快速完成。

機器學習技術將幫助我們搜索數(shù)據(jù)內容，并突出顯示其中的重要信息。例如，該算法可能會在圖像中搜索罕見的事件，如超新星爆炸(即恒星生命周期結束時的劇烈爆炸)，或者發(fā)現(xiàn)新的類星體。通過訓練計算機識別特定天文現(xiàn)象的相應信號，該團隊希望更有效地將正確的數(shù)據(jù)傳遞給正確的研究人員。

引力透鏡

隨著我們收集越來越多的宇宙數(shù)據(jù)，研究人員有時會被迫整理和丟棄一些無用的數(shù)據(jù)。那么，我們如何識別哪些數(shù)據(jù)是有價值的，哪些信息可以直接退掉呢？

目前，許多天文學家高度關注一個重要的天體現(xiàn)象——強引力透鏡。具體來說，當兩個星系沿著我們的視頻排列時，離我們較近的星系的引力將充當引力透鏡，放大較遠的星系的活動——產生包括環(huán)、十字架和幽靈在內的圖像。

但是，找到這些圖像就像大海撈針一樣——在這個可預測的宇宙海洋中尋找珍貴的時刻。我們收集的星系圖像越多，搜索就越困難。

2018年，來自世界各地的天文學家參加了一場強引力透鏡挑戰(zhàn)賽，各方激烈競爭，看誰能設計出最好的算法來自動尋找這種透鏡。

這項挑戰(zhàn)的獲勝者采用了一種稱為卷積神經網絡的模型，它將學習使用不同的過濾器來分割圖像內容，直到將其準確分類為是否包含鏡頭效果。令人驚訝的是，這些模型甚至比人類的表現(xiàn)還要好，神經網絡確實可以發(fā)現(xiàn)一些人類很難注意到的圖像細節(jié)和細微差異。

在接下來的十年里，天文學家將利用薇拉·魯賓天文臺這樣的新儀器收集數(shù)十億字節(jié)的數(shù)據(jù)，也就是數(shù)千萬億字節(jié)的數(shù)據(jù)。隨著我們對宇宙的不斷探索，機器學習技術將成為天文學家研究工作不可或缺的支撐。

目前上述的內容應該能夠為大家解答出大家對于海量數(shù)據(jù)處理（PB級海量數(shù)據(jù)怎么處理）的疑惑了，所以如果大家還想要了解更多的知識內容，也可以關注本站其他文章進行了解哦。

版權說明：本文由用戶上傳，如有侵權請聯(lián)系刪除！

標簽：