大數據為生命周期管理帶來挑戰

無論數據的規模和類型是什么，它們必須要在生命周期中接受管理，即便管理工具并不成熟也必須如此。
    伴隨著大數據的出現，整合的生命周期管理（Integrated Lifecycle Management，簡稱為ILM）遇到了一個全新的領域。核心挑戰來自三個方面：首先大數據的規模沒有上限，其次許多新數據的生命周期都極為短暫，再次由于數據或多或少具有大數據的3V特征（數據規模大、處理速度快和數據種類繁多）因而難以保持始終如一的品質。
    以上這些是我從Loraine Lawson所寫的文章中總結出來的。她的觀點與我對這一問題的總體看法基本一致。但是我并不認同她關于“與小型數據分析環境相比，ILM對于大數據環境來說更為重要”的說法。無論是以前，還是進入到了大數據時代，讓所有的商業數據資產處于安全、可控和受管理的狀態都同等重要，它們之間的重要性沒有發生絲毫的改變。
    它們之間的不同之處在于，在大數據環境中，由于以下幾個方面正在迅速發生變化，使得全面的ILM越來越難以確保數據資產處于安全、可控和受管理的狀態之下。
    ■新的大數據平臺：除了MPP 關系型數據庫系統、縱列數據庫、多維數據庫外， Hadoop、NoSQL、內存數據庫、圖形數據庫等新的技術平臺逐漸在企業計算環境中發揮越來越重要的作用?，F有的ILM工具幾乎不可能支持這些新的平臺。同時，為了能夠在公有云上處理大數據，你可能需要使用由服務提供商提供的ILM功能。為了降低在新環境中的風險，以及維護核心數據的高度可信性，你需要仔細測試新的大數據平臺，以確保它們具備ILM功能（數據安全、管理、歸檔和保留），以及這些功能是否與你計劃賦予它們的角色相對應。
    ■新的大數據主題域：大數據并沒有改變企業對存儲和管理辦公系統（例如客戶、財務和人力資源等）記錄的數據管理樞紐的需求。這些是現有企業級數據倉庫（EDW）的功能。目前大部分EDW是運行在傳統的基于關系型數據庫系統的數據平臺上，并集成有功能強大的ILM。不過，這些記錄數據域系統可能無法在最新的大數據平臺上運行，因為許多平臺已經將重點放在了處理由社交、事件、傳感器、點擊流、地理空間，以及其他新來源所產生的新數據之上。然而，這些新的數據域通常生命周期都非常短。從這個意義上說，我們可能不需要將其中的大部分數據保存在永久性記錄系統中。
    ■新的大數據擴展：大數據并不意味著你的新平臺能夠支持無限大的容量、極高的速度或無數的數據種類。由于受到技術上和經濟上的束縛，新數據的龐大規模導致它們不可能被隨意存儲在任何地方。這一現實將迫使大數據管理人員將更多的精力放在調整多溫度存儲管理、歸檔和保留策略上。隨著大數據環境的擴展，你需要確保ILM需求不超過現有容量（存儲容量）、速度（帶寬、管理器和存儲速度）和類型（元數據深度）所能支持的范圍。
    此外，我還與一些專家進行了探討。這些專家認為，除非我們真的想刪除數據，否則大數據革命可使我們無需刪除任何數據。目前大數據看起來似乎將持續以指數級速度增長，并且大數據平臺的成本似乎也將持續大幅下降，但是我對大數據云的執行和管理將跌至接近零成本的觀點存在嚴重懷疑。
    如果我的預感正確，那么我們將無法阻止大數據源源不斷的涌到云上——即便我們想阻止也無能為力。幸運的是，生命周期管理能夠為無用數據劃上一個終點，而這正是我們將ILM擺在需求第一位的關鍵原因。