數據湖將如何改變大數據？

世界對數據湖的興趣依然在不斷增長，但如果說對數據湖的宣傳都是的話，這就貶低了數據湖真正的能力?！?/span>數據倉庫”和“大數據”等概念都逐漸深入人心，但“數據湖”仍然是讓IT和業務相關者頭疼的一件事情。

隨著人們對于數據湖的清晰定義、使用案例、最佳實踐等信息的需求不斷增長，IT專業人士需要一則明確的數據湖指南，回答以下問題：數據湖是什么?我們應該如何利用它?數據湖又將如何改變大數據呢?

1.定義及觀點

數據湖成為了核心數據架構中發展得很快的一環，但IT專業人士常有疑惑，數據湖究竟是一個架構策略還是架構的目標呢?實際上并沒有清晰的界限，但仍然有方法來解決定義的問題。數據湖是一個中央儲存庫，為多種數據工作負載儲存企業數據;通過數據湖，終端架構可以得到解決，同時數據結構相關的決策也是建立數據湖時的關鍵。

數據湖被越來越多的采用，而它的實施分為四個關鍵的階段：

技術評估。通過進行大數據實驗項目，關注幾個特定的業務目標和成果，數據湖的使用者可以對這項技術進行測試，并熟悉Apache Hadoop環境的管理。

做出反應。在這個階段，各公司開始利用Hadoop來解決現有架構的低效率問題，確立清晰可測的業務機會。此外，這個采納過程對于IT效率的提高也是非常關鍵的。

主動利用。通過為分析項目合并數據以及利用Hadoop獲得經濟的可拓展性這兩種手段，各公司可以在一個單一的中央存儲中管理大量新出現的數據源，例如物聯網、社交媒體和非結構化的數據。

建立核心競爭力。隨著大數據成為IT戰略的核心組成部分，各公司最終能夠達到發展的高峰，消除所有業務應用和分析應用之間的隔閡，重新建立一個單一的企業平臺。

2.數據湖的組織

得益于Hadoop的靈活性和可拓展性，我們今天能夠保存、分類、探索并利用的數據類型比以往任何時候都要多。但避免數據湖成為數據沼澤的關鍵在于數據治理，數據的組織和安全性也是決定數據探索成敗的關鍵。一個清晰而有條理的數據組織(通常是按類目或者按數據用法劃分)能夠幫助Hadoop工程師建立更加完善的技術決策，幫助分析師和數據科學家從數據中獲取真正的洞察。

3.統一數據探索、數據科學和商務智能

對于企業BI需求、數據探索和數據科學的支持是推動數據湖部署的主要因素，這三項技術能將原始數據用于機器學習算法和統計功能。因為敏捷方法學為企業級BI提供了自適應途徑，數據湖就能夠落實更多具體的企業業務、性能指標和度量權值，同時可用于儲存歷史數據。

充滿競爭的商業環境讓人目不暇接，各公司必須認識到探索技術的關鍵作用，并認識到解答未知的重要性。這刺激了我們的需要，要把數據直接用于分析技術，產生意義重大的洞察、為企業創造附加價值。

4.成功的關鍵

要幫助企業從他們的數據湖中實現最大化效益，就必須要考慮以下幾個要素：

從長遠角度考慮數據。在開始一個數據項目時，必須仔細考慮數據在今后其他應用中的可重用性。要明白未來新產生的數據需求往往是不可預知的，了解這一點后公司就可以更好地相應準備并利用起他們的數據。

先確立數據治理結構。數據治理被應用在了整個企業的數據和信息政策當中，所以在考慮數據湖時也不應該例外。數據治理規范了企業中的每個人對數據湖的使用，并最小化了發生錯誤和不當數據管理的可能性。

預先解決安全問題。以數據為中心的安全保護提供了從整個數據的生命周期來看數據的宏大視角，此處的關鍵要素就是從第一天開始就正視安全問題，確立好哪些數據可以引入數據湖，并為數據湖中的各類數據制定使用權限。

盡管數據湖在大數據領域還是一個比較新的詞匯，但它已經成為了企業級IT架構和整體數據戰略的重要部分。數據湖戰略擁有合理的架構，能夠和數據科學以及成本低廉、擁有商業基礎的機器學習分析完美結合。對于數據湖核心概念的了解能夠幫助企業更好地利用并保護自己的數據，同時提高通過數據進行探索的能力。