
數據倉庫成熟度模型
我們中的許多人都曾經多年從事數據倉庫管理工作。有些人做出了戰略性的系統,讓用戶和企業高管十分滿意。有些人則在為維持企業持續投入支持數據倉庫項目掙扎,同時他的用戶卻在拼命要求更好更準確的信息。
怎樣才能有個成功的解決方案?你的數據倉庫方案跟同行業中的公司相比如何?怎樣才能將你的解決方案提升一個層次?
今天又很多數據倉庫項目經理都在問以上的問題。不幸的是,沒有一個容易的解答。TDWI開發了一個數據倉庫成熟度模型,以供參照。這個模型提供了一個便捷的方式來衡量你的數據倉庫解決方案,現在在哪,下一步該怎么做。
數據倉庫成熟度模型
圖1:商業價值隨著各個階段上升。大多數的組織如今處于兒童和少年階段。
六個階段
該模型由六個階段組成:孕育期,嬰兒期,兒童期,少年期,成人期,長者期。商業價值隨著模型中的各個階段而增長(圖1)。
這些階段的劃分是依據一系列的特性,包括系統范疇,分析結構,管理層觀念,分析類型,領導力,投入,技術平臺,變革管理,日常維護。本文將圍繞其中一些特性展開。組織在成長過程中會同時呈現出不同階段的特性,并不是清晰的從一個階段邁向下一個階段。
在數據倉庫/商業智能的發展過程中,有兩個關鍵點,在本模型中稱為“海灣”和“鴻溝”。許多企業的項目就卡在這兩個點上。他們一腳踩在過去,一腳踏入未來,無法完成飛躍。正因如此,這些企業從未完全進入下一個階段并從中受益。
要克服這些障礙,最重要的是要改變管理層的觀念。要跨越“海灣”,管理層必須認識到 DW/BI 不僅僅是報表系統,并且企業的效率正在被那些他們原來賴以生存的表格和桌面數據所拖累。更為困難的是跨越“鴻溝”,這要求管理層必須意識到 DW/BI 是一個對于整個企業都至關重要的資源,而不僅僅是IT部門。
接下來簡要的介紹每個階段和其特性。
1. 孕育期
管理層報表工具
大多數的組織都有報表系統,制作,打印一堆標準報表,并定期分發給員工,常常是每周、每月、每季度。這些報表的數據來自散亂的數據源(或者是事務性的數據源),IT部門無法快速響應特殊的報表需求。這樣,IT部門常常落得罵名,而著急要數據信息的用戶常常感到無助。這樣的問題在專門為高管分析數據的人員和高級用戶身上顯得尤為無法忍受。他們只好繞過IT而自己動手,把數據放入Excel中或桌面數據庫中,來解決自己的問題。這樣就到了下一個階段。
2. 嬰兒期
Spreadmarts
Spreadmarts 是指用Excel表格或桌面數據庫來完成 data marts 的功能。每個Spreadmarts包含一系列單獨的數據,標準,規則。Spreadmarts之間相互不統一,和報表、分析系統之間也不統一。但是,由于Spreadmarts方便,簡單,它無處不在,幾乎所有的組織都有大量的Spreadmarts。
Spreadmarts 讓組織(或者CEO)無法得到一個清晰、統一的數據全貌。但是,要完全消除Spreadmarts也十分困難,因為它確實很方便,有效。這樣,企業面臨著一個難以跨越的“海灣”。事實上,Spreadmarts的用戶在企業達到最后的兩個階段之前,在數據分析上會犧牲掉很大的自由度,直到新的開發流程和分析服務把本地和企業數據整合在一起。(見圖2)。
數據倉庫成熟度模型
圖2. Spreadmarts 很難消除,因為使用方便,自由。只有在企業到達了最后兩個階段時,本地控制和整個組織的數據才能有效的整合在一起。
3. 兒童期
Data Marts
在兒童期,各部門意識到必須讓所有的人員得到及時有效的信息,而不僅僅是高管和分析人員。
Data mart 是指一個共享的分析結構,支持一個單獨的應用程序,業務流程或者部門。各部門的人員搜集本部門的需求并以此對data mart進行裁剪,用來滿足本部門的需求。接下來,本部門的人員可以使用交互的報表工具(比如,OLAP,交互查詢工具,參數化報表等)。這些工具讓一般員工更加深入的了解他們的工作流程和相關信息。
但是data marts也有和spreadmarts相似的問題。每個data mart只負責支持本部門的數據,它能很好的滿足本部門的需求,但是如果有跨部門的分析需求時,它就顯得力不從心了。這里需要的是一種既能夠把data marts整合在一起,同時又不會降低本地自由度的機制。這就到了下一個階段。
4. 少年期
在創建了幾個data marts之后,大多數的部門會意識到,他們需要把一些數據定義、規則、維度標準化,以防止將來的數據整合噩夢。在data marts標準化方面,大體上有兩種可供選擇的方向:中心化或者非中心化,并有8種策略可供選擇。其中最常見的策略是創建一個中心數據倉庫和一些相互依賴的運行在和數據倉庫同一個數據庫之上的data marts。這種類型被稱為星型結構數據倉庫。
交互式的報表和分析。有別于單一目的的data marts,數據倉庫支持更深層次的分析。這是因為用戶可以運行跨部門的查詢,比如財務和運營部門,并從中得到更為有用的信息。
為了更好的監控企業中跨部門的流程和企業的價值鏈,企業部署了儀表盤程序。儀表盤程序支持的功能包括:報警,向下鉆取到更為細節的報表,從非數據倉庫的系統中提取數據進行查詢,更為及時的數據獲取。這樣的儀表盤程序的價值在于,它讓企業中更多的人從商務智能中受益,而不僅僅是少數的高級用戶。這樣,在決策層的眼里,DW/BI可以提高企業的效率,讓更多的用戶獲得信息,并在這些信息基礎上做出決定,而不是拍腦袋做決定。
5. 成人期
企業級數據倉庫(EDW)
盡管數據倉庫帶來許多好處,但是仍無法完全解決數據一致性的問題?;蛘呤且驗閮炔块_發,或者是因為企業并購,當今許多企業有不止一個數據倉庫。就像Spreadmarts和獨立的data marts一樣,這些數據倉庫中的數據可能有重合甚至沖突。這給企業內部信息和流程管理帶來麻煩。
整合數據。在成人期,企業強調唯一的可靠的數據來源,用以反映事實。決策層把數據看得和員工、設備、現金一樣重要,都是企業的寶貴財富。企業選擇一個數據倉庫或者從頭創建一個新的企業級數據倉庫。然后數據被從不同的數據源整合進入這個企業級數據倉庫中。但是,如果有一個足夠靈活的商務智能層,那么這個“把數據整合進企業級數據倉庫”的過程可以省略,而是讓商務智能工具直接從企業級數據倉庫和外部數據中提取數據。這樣的好處是,有些外部數據是無法放入數據倉庫的(比如實時數據或者Web數據)。對于一些把收購作為企業發展策略之一的企業來說,企業級數據倉庫和商務智能工具被作為整合被收購企業數據的主要手段。
管理者和記分員。在成人期,企業級數據倉庫作為企業內戰略性的資源,用于整合數據來支持一些驅動業務的關鍵應用程序。為了管理這個重要資源,決策層要建立完善的管理機制,分配業務人員負責重要的數據,并在企業內的各個層次分配人員監督指導數據倉庫的開發和擴展。在數據分析方面,企業安排“記分員”監控業務流程,確保這些流程和整個企業戰略是吻合的。為了達到企業的戰略目標,“記分員”需要常常調整儀表盤程序、現有的標準和優先級、預算等。
投資回報率。在成人期,數據倉庫帶來的價值開始超過對其的投資了,尤其是在規模經濟和快速開發上(見圖3)。而且,這時候用戶開始發現數據倉庫的新的用途,這些用途甚至當時的開發人員都沒有預料到,這又進一步提高了投資回報率。
數據倉庫成熟度模型
圖3. 在第4、5個階段,數據倉庫的回報開始超過對其的投資
6. 長者期
商務智能服務
一旦數據倉庫變成戰略性的企業資源并且和關鍵應用程序一起驅動整個業務,你的工作就基本做完了。當然,在此基礎上,還可以向外和向下擴展來提高數據倉庫的戰略價值。
交互式外聯網。當今有許多公司已經向其客戶和供應商開放了自己的數據倉庫—把價值鏈擴張到企業外部并尋求新的商機。下一代的外聯網應用程序不僅僅提供靜態的賬戶報表,而是會給它們的客戶和供應商提供簡單易用而又功能強大的交互報表工具,以便做出一些業績橫向、縱向比較。有些公司,比如Owens & Minor,已經設立了新的部門,專門出售數據倉庫和信息分析服務,這改變了這個產業。
Web服務。同時,企業級數據倉庫開發團隊正在把分析數據和商務智能功能包裝成web服務,這樣內部和外部的開發人員在獲得授權的前提下可以使用這些web服務。BI服務的出現,讓數據倉庫和其相應的應用程序可以被嵌入任何應用程序,這樣用戶再也不用為了分析數據和去切換當前應用程序。用戶需要的數據,信息將被嵌入他們日常使用的應用程序中。
決策引擎。BI服務同時也讓企業充分利用在統計分析和建模上的投資。企業將統計模型轉化為“決策引擎”并嵌入應用程序。用戶可將信息輸入引擎然后得到引擎的建議,完全不需要統計學背景。當今,決策引擎已經是一些功能強大應用程序的基礎,包括欺詐檢測,網頁個性化,自動貸款批準程序等。
一旦你的數據倉庫進入了長者期,它的價值將指數級增長,而用戶將漸漸感覺不到它的存在。作為BI服務,數據倉庫和分析服務器退居幕后,變為基礎設施的一部分。如果它不出問題,你甚至察覺不到它的存在。在社會發展過程中,我們接受了無數的服務,例如電力,污水處理,交通,等等。BI服務也將成為下一個這樣的服務。
結論
不論你是否已經達到了“長者期”的特性,或者你還在努力從嬰兒期向少年期跨越,這個成熟度模型都能給你一些參考。它讓你了解你現在處于哪個階段,下一個階段在哪,并且在嘈雜的環境中保持冷靜理智。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
2025 年,數據如同數字時代的 DNA,編碼著人類社會的未來圖景,驅動著商業時代的運轉。從全球互聯網用戶每天產生的2.5億TB數據, ...
2025-05-27CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25