
引力波數據分析中的人工智能技術
最近國內各種媒體廣泛報道了備受矚目的引力波被人類直接探測到的事件,引起了人們對基礎科學研究的極大興趣。早在100年前,愛因斯坦的廣義相對論發布后,就預言了引力波的存在。從文獻中我們可以知道,目前宇宙中最有可能存在的引力波源以及幾種引力波探測方式如下:
隨機背景輻射:包括在宇宙早期電磁輻射演化到今天變成宇宙微波背景輻射(CMB)。通過對CMB 的相關測量可測量宇宙早期的引力波,這樣的探測器包括BICEP 等。
宇宙中的星體,如脈沖星、地球等。通過測量脈沖星與地球間的距離變化測量引力波。包括脈沖星計時測量等測量方式。
通過懸掛或者無拖拽等先進技術讓測試質量沿測地線運動,同時通過激光干涉測量測試質量間的距離變化也可達到引力波測量的目的。這種方式包括正在運行的LIGO 等地面干涉儀和計劃中的空間引力波探測計劃eLISA 和天琴計劃等。
引力波和物體相互作用,在適當的情況下可以導致物體共振,例如韋伯型共振棒測量引力波。
通過測量引力波對高斯型微波光子流的影響也可以達到引力波探測的目的。微波頻帶高頻引力波探測器等采用的測量方式。
從實際探測的角度看,這些探測器具有不同的測量頻段。但是在人類能夠感知的尺度下,引力是一個非常弱的相互作用。只有靠天文中大質量的星體的運動,例如致密雙星互繞及合并事件,才能產生相對比較強一些的引力波。這次LIGO探測到的就是雙黑洞合并事件激發的引力波。
LIGO(Laser Interferometer Gravitational-Wave Observatory),即激光干涉引力波天文臺。 LIGO探測器由10個子系統組成,其中之一是數據和計算系統(Data and ComputingSystems, DSC)。
LIGO獲取的數據不但包括激光干涉儀引力波探測器輸出的數據,還包括了各種獨立的對探測器的環境和探測器設備狀態進行監控的探測器和紀錄儀,對諸如溫度﹑氣壓﹑風力﹑大雨﹑冰雹﹑地表震動﹑聲響﹑電場﹑磁場等環境條件進行監測,以及對引力波探測器內部的平面鏡和透鏡的位置等探測器自身狀態進行監測的數據。在數據獲取方面,例如在初級LIGO漢福德天文臺,DAQ的H1和H2干涉儀記錄共12733個通道,其中1279個是快速通道(數字化速率在2048 Sa /秒或16384 Sa秒)。升級的LIGO的設計為記錄大于300000個通道的數據采集,其中大約3000個快速通道。 (https://www.advancedligo.mit.edu/daq.html)
這是典型的大數據分析處理問題,需要強大的計算資源與先進的算法,才能有效處理如此巨大的數據量。其中一些人工智能技術被應用到LIGO的DSC,例如Einstein@home項目(http://einsteinathome.org/)。該項目的長期目標是能首次直接檢測旋轉中子星(脈沖中子星)的引力波發射,目前采用了分布式計算技術,即利用大眾的計算機閑暇機時來搜尋較弱的引力波信號。這可以看做是一種眾包技術,將人腦與計算機結合起來,是群體智能技術的具體應用。
清華大學的曹軍威研究團隊探索了將人工智能技術應用到引力波數據噪聲的分析中。他們應用了隨機森林算法(random forest)、人工神經網絡(artificial neural network)和支持向量機(Support Vector Machine)等三種不同的算法,來分析引力波數據道中的噪音,對引力波數據道上捕捉到的事件進行分類。他們的結論是雖然這三種機器學習的方法各有千秋,但是經過調優之后,它們在引力波數據噪音分析和事件分類上表現出來的能力基本相同.這個結論很有意思.它告訴我們,機器學習方法在應用中所能達到的效果,很大程度上決定于數據質量,與具體采用哪種方法關系不太大。在對分類的效率改進因此可能來自包括其他有用的信息來源,而不是對算法本身的改進。
這次LIGO公布的GW150914事件,在線觸發延遲是大約3 min,用了5個離線分析流水線,消耗的CPU 時間大約是5千萬小時(=20,000PCs 運行100 天)。如此的計算強度與海量的數據以及采用的分析算法有關。在搜尋引力波信號中,采用的是匹配濾波技術。匹配濾波是基于波形分析的技術,要求對引力波波源建立合理的物理模型,根據模型產生成千上萬的模板,用這些模板去匹配引力波數據中信號,從而找到相關的事件。從中我們可以看出匹配濾波技術使用的前提條件是已知引力波的理論模型,即需要對引力波波源進行建模。但是,對引力波波源建模涉及的是引力波的動力學,需要求解愛因斯坦方程,而且是針對宇宙中實際的天體求解愛因斯坦方程。目前在引力波波源建模問題中大多采用了數值計算的方法,典型的方法是蒙特卡洛計算法。但是對于愛因斯坦方程,即使是數值計算也非常困難。近些年發展起來的數值相對論成為廣義相對論一個獨立的研究方向,但是基普? 索恩(KipThorne)認為數值相對論比引力波探測本身還難。這導致在引力波探測中,大量事件的波形是未知的,如超新星爆發及質量巨大的星體核的坍塌等,它們就不能用匹配濾波器技術來分析了?;谏鲜鲈?,這次探測到的事件是雙黑洞并合事件,這是由于雙黑洞系統是理論上知道得最清楚的引力波源。對有無其他引力波源產生的信號,目前對數據仍在分析處理中。
事實上,我們可以考慮將人工智能技術應用于引力波大數據分析處理上,發展相應的算法,提高處理引力波大數據的速度與精度。大數據對計算智能的發展提出了新的機遇和挑戰,這里我們探討將人工智能應用于引力波大數據分析處理上,至少有幾個方面值得我們去研究。
有監督學習:匹配濾波器法需要知道信號的波形,這次引力波應變數據分析是與海量波形庫中的波形匹配,顯然是一個計算工作量巨大的過程。如何提高搜索效率,降低對計算資源的消耗,無疑是值得去深入研究的。事實上,根據我們在反卷積抽譜方面的研究經驗,對天文學家認為需要高性能計算機才可進行的巨型矩陣的計算,通過發展有效的算法,在普通的PC機,甚至是筆記本電腦上也可實現反卷積抽譜的計算工作。我們知道人工智能是一個“算法為王”的研究領域,將智能搜索算法應用于引力波數據,將會極大提高其效率。例如在人工智能研究領域,最近較為熱門的事件是谷歌人工智能系統AlphaGo(阿爾法圍棋)將于3月9號在韓國首爾和韓國圍棋選手李世石九段進行比賽。AlphaGo采用了深度學習和增強學習,這是當前人工智能界最前沿的研究方向。原先的圍棋軟件多數采用了蒙特卡洛樹搜索(MCTS)技術,使用蒙特卡洛算法的模擬結果來估算一個搜索樹中每一個狀態值。隨著進行了越來越多的模擬,搜索樹會變得越來越龐大,而相關的值也會變得越來越精確。通過選取值更高的子樹,用于選擇行動的策略概率在搜索的過程中會一直隨著時間而有所改進。這是一種用窮舉搜索法尋找最優解的策略,(匹配濾波也可以看成是一種窮舉搜索法),但是圍棋的走法是個天文數字——有250^150種,這超過了我們可觀測宇宙中的所有原子數量,可想而知通常的計算機已經無法計算了。AlphaGo采用的方法是Value Networks(價值網絡)和 Policy Networks(策略網絡),以及蒙特卡洛樹搜索算法。通過有監督學習訓練價值網絡和策略網絡,分別降低搜索的深度和搜索的寬度。再結合蒙特卡洛法讓搜索達到深度的極限、沒有任何分支樹。在引力波波型搜索中,我們也可以考慮采用類似的搜索策略,以及結合深度學習與強化學習,發展高效的算法,將引力波事件的模式快速識別出來。
無監督學習:在引力波探測中, 大量事件的波形是未知的,對于超新星和旋轉中子星,目前的天文觀測積累還無法給出一個它們所釋放引力波強度的理論估計。這需要采用無監督學習算法來發現引力波數據中未知的模式。這種學習方式也是對人工智能發展的最大挑戰。在人工智能領域,Google X 實驗室開發了一個稱為GoogleBrain 的系統,該系統由1000臺計算機、16000個芯片組成。系統“學習了”從YouTube 視頻中提取的 1000 萬個靜態圖像,將線條、亮度、邊界、色彩等多個特征分類。經過3天尋找重復出現的模式后,Google Brain憑自身判斷,它可以識別一些特定的重復類別:人類面孔和人類身體,甚至是貓。Google Brain使用的是正是無監督學習的方法。但是,它的精確度還沒有達到可以使用的水平。Facebook人工智能研究組主管Yann LeCun說,如果人工智能要滿足人們更大的野心,就必須弄清楚軟件如何才能完成那些對人類嬰兒來說十分容易的事情。他說:“我們都知道,最終的答案就是無監督學習。解決了無監督學習的問題,將把我們帶向更高的級別?!?nbsp;目前在無監督學習方面已經有了一些探索,通過概率程序歸納實現人類級別的概念學習,即僅從一個例子就形成概念。但是迄今為止,這些探索都尚未揭示出一條能讓無監督學習達到人類水平的路徑,或者說,算法還不能僅通過經歷或實驗就學會與真實世界有關的復雜東西。百度硅谷AI實驗室主任AdamCoates認為“目前,我們似乎缺失了某個關鍵的思想?!?nbsp;在引力波潛在模式發現中,如何發展高效的無監督學習算法,仍需要進行深入研究。也許需要結合認知學習,類腦學習等多學科的研究成果,才有可能彌補這個缺失的關鍵環節,從而形成重大突破。
集成學習策略:這次探測到的雙黑洞并合的引力波之外的連續引力波、原初引力波等等其他類型的引力波還沒有被探測到。例如來自旋轉中子星的連續引力波,除了對探測器的靈敏度要求更高之外,對數據分析的能力也提出極高的要求。有個別連續引力波項目,需要1萬臺電腦跑一年才能得到結果。因此除了Einstein@Home項目采用的眾包技術外,我們還應該結合有監督學習,無監督學習,半監督學習,增強學習,遷移學習等學習策略,發展高效的引力波數據分析算法,加速發現更多引力波事件的過程。
MIT校長就這次引力波發現致全校信中說道:我們今天所慶祝的這項發現很好地體現了基礎科學中的悖論:基礎科學的研究是艱苦、嚴格且緩慢的——但與此同時,它也是激動人心的、革命性的和具有催化作用的。如果沒有基礎科學,我們最好的猜想將不能得到任何改進,而“創新”也只能是周圍的邊緣修修補補。只有隨著基礎科學的進步,社會也才能進步。這說出了對基礎科學研究意義。對信息技術等學科而言,研究引力波大數據分析處理技術,是向基礎自然科學研究領域的應用,不像其他大數據有可能涉及到企業的核心商業利益、國家安全、公民隱私、法律法規等諸多問題,天文大數據完全可以在全球范圍內實現數據資源的公開和共享。
雖說研究引力波數據分析技術沒有直接的商業價值,但后續可考慮技術(算法)遷移,將發展的大數據分析處理技術應用到其他商業領域,或者其他學術研究上。引力波數據分析大部分是采用了一維信號處理技術,這可遷移到光譜數據分析,FAST探測數據分析。腦電數據分析等方面。
探索人工智能領域的技術在引力波數據分析中應用,發展新的算法,將會促進人工智能研究領域的發展。對天文學而言,所發展的技術若能以更快的速度、更高的精度實時處理得到引力波源的方向、位置等信息,就能為相應的研究爭取寶貴的天文觀測時間,進而形成以引力波觀測為觸發的全新天文觀測方法——多信使天文學(Multimessenger Astronomy)。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25