海量數(shù)據(jù)處理(如何處理PB級海量數(shù)據(jù)？)

天文學(xué)的核心在于數(shù)據(jù)。隨著我們對宇宙認識的加深，我們掌握的信息越來越多。下一代天文學(xué)研究的核心挑戰(zhàn)是如何充分研究我們收集到的數(shù)據(jù)。

為了應(yīng)對這些挑戰(zhàn)，天文學(xué)家開始轉(zhuǎn)向機器學(xué)習(xí)和人工智能(AI)，希望建立新的工具，快速尋求新的突破。人工智能技術(shù)也在以下四個方面幫助天文學(xué)家。

發(fā)現(xiàn)這個星球

發(fā)現(xiàn)行星的方法有很多，但成功率最高的可靠方法是對凌日現(xiàn)象的研究。所謂凌日，就是當(dāng)一顆系外行星從其軌道運行的恒星面前經(jīng)過時，必然會遮擋我們可以觀測到的光線。

通過觀察系外行星的不同軌道，天文學(xué)家構(gòu)建了凌日圖像，并使用它們來識別目標(biāo)行星的實際特征，如其質(zhì)量、大小和與恒星的距離。美國宇航局的開普勒望遠鏡空利用這項技術(shù)取得了巨大成功，它可以同時觀測數(shù)千顆恒星，并密切關(guān)注各自行星產(chǎn)生的凌日現(xiàn)象。

當(dāng)行星移動到環(huán)繞恒星的前方時，我們會看到光線減弱，這就是所謂的凌日現(xiàn)象。

天文學(xué)家可以準(zhǔn)確觀測凌日現(xiàn)象，但相關(guān)技能需要一段時間的培養(yǎng)。隨著人們越來越致力于尋找新的系外行星，僅靠人力很難跟上NASA凌日系外行星調(diào)查衛(wèi)星的捕捉速度。在這方面，AI技術(shù)正好有機會大顯身手。

將時間序列分析技術(shù)——將數(shù)據(jù)作為時間序列進行分析——與AI技術(shù)相結(jié)合，可以成功識別系外行星信號，準(zhǔn)確率高達96%。

引力波

時間序列模型不僅適用于尋找系外行星，還能有效追蹤宇宙中最具破壞性的災(zāi)難性信號——黑洞或中子星的坍縮。

當(dāng)這些密度極高的天體坍縮時，會在小時空產(chǎn)生巨大的引力漣漪，人類可以通過測量地球上出現(xiàn)的微弱信號來探測這些漣漪。引力波探測器合作公司Ligo和Virgo在機器學(xué)習(xí)的幫助下成功識別了數(shù)十起此類事件。

在黑洞塌縮模擬數(shù)據(jù)訓(xùn)練的模型的幫助下，Ligo和Virgo團隊能夠在事件發(fā)生的那一刻發(fā)現(xiàn)事件，并向世界各地的天文學(xué)家發(fā)出通知，指導(dǎo)他們及時將望遠鏡指向正確的方向。

多變的天空

智利目前正在建設(shè)的維拉魯賓天文臺一旦正式啟動，將能夠每晚進行全夜空測量，一次性收集超過80 TB的圖像數(shù)據(jù)，從而全面觀測宇宙中的恒星和星系如何隨時間變化。順便說一下，1 TB代表80億比特。

根據(jù)運行計劃，未來的維拉魯賓天文臺將收集和處理數(shù)百Pb的數(shù)據(jù)。作為參考，臉書上所有圖像存儲的總空空間約為100 PB，換算成全高清視頻長度約為700年。

顯然，如此龐大的數(shù)據(jù)量，可能無法登錄服務(wù)器進行下載；即使下載完成，內(nèi)容搜索也無法快速完成。

機器學(xué)習(xí)技術(shù)將幫助我們搜索數(shù)據(jù)內(nèi)容，并突出顯示其中的重要信息。例如，該算法可能會在圖像中搜索罕見的事件，如超新星爆炸(即恒星生命周期結(jié)束時的劇烈爆炸)，或者發(fā)現(xiàn)新的類星體。通過訓(xùn)練計算機識別特定天文現(xiàn)象的相應(yīng)信號，該團隊希望更有效地將正確的數(shù)據(jù)傳遞給正確的研究人員。

引力透鏡

隨著我們收集越來越多的宇宙數(shù)據(jù)，研究人員有時會被迫整理和丟棄一些無用的數(shù)據(jù)。那么，我們?nèi)绾巫R別哪些數(shù)據(jù)是有價值的，哪些信息可以直接退掉呢？

目前，許多天文學(xué)家高度關(guān)注一個重要的天體現(xiàn)象——強引力透鏡。具體來說，當(dāng)兩個星系沿著我們的視頻排列時，離我們較近的星系的引力將充當(dāng)引力透鏡，放大較遠的星系的活動——產(chǎn)生包括環(huán)、十字架和幽靈在內(nèi)的圖像。

但是，找到這些圖像就像大海撈針一樣——在這個可預(yù)測的宇宙海洋中尋找珍貴的時刻。我們收集的星系圖像越多，搜索就越困難。

2018年，來自世界各地的天文學(xué)家參加了一場強引力透鏡挑戰(zhàn)賽，各方激烈競爭，看誰能設(shè)計出最好的算法來自動尋找這種透鏡。

這項挑戰(zhàn)的獲勝者采用了一種稱為卷積神經(jīng)網(wǎng)絡(luò)的模型，它將學(xué)習(xí)使用不同的過濾器來分割圖像內(nèi)容，直到將其準(zhǔn)確分類為是否包含鏡頭效果。令人驚訝的是，這些模型甚至比人類的表現(xiàn)還要好，神經(jīng)網(wǎng)絡(luò)確實可以發(fā)現(xiàn)一些人類很難注意到的圖像細節(jié)和細微差異。

在接下來的十年里，天文學(xué)家將利用薇拉·魯賓天文臺這樣的新儀器收集數(shù)十億字節(jié)的數(shù)據(jù)，也就是數(shù)千萬億字節(jié)的數(shù)據(jù)。隨著我們對宇宙的不斷探索，機器學(xué)習(xí)技術(shù)將成為天文學(xué)家研究工作不可或缺的支撐。

目前上述的內(nèi)容應(yīng)該能夠為大家解答出大家對于海量數(shù)據(jù)處理（PB級海量數(shù)據(jù)怎么處理）的疑惑了，所以如果大家還想要了解更多的知識內(nèi)容，也可以關(guān)注本站其他文章進行了解哦。

版權(quán)說明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！

標(biāo)簽：