大數據、高性能環境對存儲的需求

一直以來，高性能計算的主要目的就是提高運算速度，來解決大規?？茖W計算和海量數據的處理問題。高性能計算每秒萬億次級的強大計算能力，使其成為石油、生物勘探、氣象預測、生命科學研究等領域的重要技術選擇。但是隨著數據量以及數據價值的不斷增長，金融、電信、互聯網等領域對高性能計算的需求不斷加大。隨著技術的發展，高性能計算系統的處理能力越來越強，任務的計算時間越來越短，對業務的價值不斷提高。但是，要想實現快速的任務計算處理，高性能計算系統的存儲能力是關鍵。因為在計算開始，要從存儲系統中讀取數據；計算結束時，要向存儲系統中寫入計算后的結果。如果這之間的讀取和寫入速度不匹配，不僅會拖延高性能項目的完成周期，低延遲還會嚴重影響高性能創造價值的能力。通常，高性能計算要求存儲系統能夠滿足性能、可擴展性要求，保護投資回報：吞吐量達到幾個甚至幾十個GB/s ，容量能擴展至PB級；透明的訪問和數據共享；集中式的智能化管理，高性價比；可按需獨立擴展容量和性能等。中橋分析師在深圳華大基因研究院實地測試了EMC Isilon 產品在其HPC 環境下的運行情況，并記錄下其結果。

   背景
    高性能計算（High Performance Computing—HPC ）指通常使用很多處理器（作為單個機器的一部分）或者某一集群組織中幾臺計算機（作為單個計算資源操作）的計算系統和環境。長期以來，高性能計算應用的主要領域是科學與工程計算，諸如高能物理、核爆炸模擬、氣象預報、石油勘探、地震預報、地球模擬、藥品研制、CAD 設計中的仿真與建模、流體力學的計算等。如今，像金融證券、政府信息化、電信行業、教育、企業、網絡游戲等領域對HPC的需求也在迅猛增長。
   高性能計算的應用
    高性能計算有著廣泛的行業應用基礎，下面列舉幾個行業對高性能計算的應用需求：
   1. 航空航天行業
    在航空航天行業，隨著中國航空航天事業的快速發展，尤其是載人航天技術的巨大成功，我國科技人員對空氣動力學的數值模擬研究提出了越來越多的需求，常規的計算能力遠遠無法滿足復雜的大型飛行器設計所帶來的巨大需求。在航空航天企業的設計過程中，研究人員往往需要把飛機表面分成幾百萬甚至幾千萬個離散型的網格點，然后通過高性能計算平臺求解方程，得出每個網格點的溫度、速度、摩擦力等各種參數，并模擬出連續型的曲線，進而為飛機設計提供寶貴的參考資料。對這類計算來說，網格點分割得越細密，計算結果的精確度也就越好。但是這些大規模設計計算問題不但單個作業計算量龐大，且需不斷調整、重復計算，因此高性能在航天航空行業中占據著舉足輕重的地位。
    2. 能源行業
    石油能源作為國家戰略資源，對于國家經濟、安全、軍事等各方面都具有非常重要的戰略意義。石油勘探承擔著尋找儲油構造、確定井位的重要任務。目前的主流做法就是人為的制造相應規模的地震（視勘探地區面積與深度不同），同時在相應的地層遍布若干震波收集點。由于不同材料的地質環境對地震波的影響是有規可循的，所以借助這一點，通過相關的算法，即可以通過對地震波的傳遞演算來“計算出”地質結構，從而找出我們所需要的能源位置。這種計算量無疑是異常龐大的，由于地震波法勘探收集的數據通常都以TB計，近年來海洋油氣勘探所采集的數據甚至開始向PB規模發展。為此，只有借助高性能計算，才能在最短的時間內處理這些海量數據。
   3. 生命科學
    在現代生命科學領域，以數據為驅動力的改變正引發著巨大的變革。海量生物數據的分析將會增強疾病的實時監控能力和對潛在流行病做出反應的能力，但海量數據的挖掘、處理、存儲卻面臨著前所未有的挑戰。特別是隨著新一代測序技術的迅猛發展，基因組學研究產生的海量數據正以每12- 18個月10倍的速度增長，已遠超越著名的摩爾定律，這使得眾多生物企業和科研機構面臨強大的數據分析和存儲需求。
    在國內，生物基因行業的發展勢頭也不可小覷。2011年1 月30日，國家發改委已批復同意深圳依托華大基因研究院組建國家基因庫，這是中國首次建立國家級基因庫，首期投資為1500萬元。深圳國家基因庫是一個服務于國家戰略需求的國家級公益性創新科研及產業基礎設施建設項目，是目前我國唯一一個獲批籌建的國家級基因庫，是全球僅次美國、日本和歐洲三個國家級基因庫之后的世界第四個國家級基因庫?，F在，該國家基因庫已經收集了100 萬GB的生物數據，包含基因組、轉錄組、蛋白質組、代謝組及表型的數據，同時也積累了約四十萬份生物樣本。預計該基因庫最終將達到10億GB級別的數據容量。深圳國家基因庫和國際上已有的基因庫相比，它的特點是既有“濕庫”也有“干庫”：前者把千萬種實體的動植物、微生物和人類組織細胞等資源和樣本納入網絡；后者匯集巨量的核酸、基因表達、蛋白、表型等多類數據信息，成為“大數據”生物學時代研究生物生長發育、疾病、衰老、死亡以及向產業化推廣的利器。
   4. 金融行業
    金融說到底就是數據。在金融市場中，擁有速度就意味著更高的生產力和更多的市場份額。金融計算模型相當復雜，數據收集越多，計算結果越精確。金融分析師都迫切地需要一個能模擬復雜現實環境，并進行精確處理的金融計算程序，以便對每個投資產品及時地評估投資收益，衡量投資風險，以期獲得更好的投資回報。也正因此，高性能計算已經越來越多地應用到全球資本市場，以期在最短時間內實現對市場的動態響應與轉換。
    5. 氣象預報
    世紀二十年代初，天氣預報方程已基本建立。但只有在計算機出現以后，數值天氣預報才成為可能。而在使用并行計算機系統之前，由于受處理能力的限制，只能做到24小時天氣預報。高性能計算是解決數值預報中大規?？茖W計算必要手段。采用高性能計算技術，可以從提高分辨率來提高預報精度。
   6. 游戲動漫和影視產業
    隨著3D、4D電影的興起和高清動漫趨熱，由高性能計算（HPC ）集群構成的“渲染農場”已經成為三維動畫、影視特效公司不可或缺的生產工具。動漫渲染基于一套完整的程序進行計算，從而通過模型、光線、材質、陰影等元素的組合設定，將動漫設計轉化為具體圖像。以《玩具總動員》為例，如果僅使用單臺工作站（單一處理器）進行動畫渲染，這部長達77分鐘的影片的渲染時間將會是43年，而采用集群渲染系統，只需約80天。