
數據倉庫實施需注意的四大問題
在實施數據倉庫的過程中,還面臨著很多影響數據倉庫項目成敗的關鍵因素,而這些因素實際上并不完全是技術層面的。這也是為什么數據倉庫項目失敗比例很高的主要原因。只有在項目中很好的解決這些問題,才能保證數據倉庫項目的最終成功。下面分別介紹這些需要關注的問題:
1.采用何種實施方法
企業級數據倉庫的實現通常有兩種途徑:一種是從建造某個部門特定的數據集市開始,逐步擴充數據倉庫所包含的主題和范圍,最后形成一個能夠完全反應企業全貌的企業級數據倉庫;另外一種則是從一開始就從企業的整體來考慮數據倉庫的主題和實施。前一種方法是各個擊破,投資少、周期短且易于見到成果,但由于該設計開始時是以特定的部門級主題為框架的,向其他的主題和部門擴充往往非常困難。而后一種方法恰恰相反:投資大、周期長,但是易于擴展。
以哪種方法進行實施,主要取決于各個行業和客戶的實際情況。如電信和銀行業,采用第二種方法比較可行,這是因為這兩個行業業務發展變化快,為了能夠適應將來的變化,整個數據倉庫架構必須是可擴展的和易于維護的。如果只是基于部門級的需求去設計,將來肯定無法適應變化。如果重新設計,勢必造成前期投入的浪費。對其他一些行業,如制造業和零售業,本著“急用先行”的原則,可以先從某一局部入手,慢慢擴展為數據倉庫。
從技術上講,以部門需求作為主要考慮因素建立的系統,它的數據量不會太大,會影響對將來數據膨脹風險的正確估計,當數據集市擴展到企業范圍的時候,由于原有技術無法支撐新的數據規模,會造成數據裝載和數據分析速度的降低,甚至達到不可用的地步。另外,企業級的數據倉庫會涉及更多的額業務系統,只有充分研究各業務系統,才能了解如何對不同格式、不同標準、不同接口的數據進行集成。如果沒有這方面的準備,當擴展到企業層面時,會面臨很多技術問題,難以解決,而不得不對原有系統進行修改或重建。
當然,對于第二種方法,也不是說把攤子鋪的越大越好。合理的做法是“統籌規劃,分步實施”。根據業務需求,把業務的主要方面都涵蓋進去,確定彼此之間的聯系;對于次要的需求,可以預留一些接口,以備將來細化。否則,如果整個調研周期拖得太長,等進入實施階段,業務又發生變化,不得不重新修改設計,同樣會造成浪費。所以,先搭建好一個易于擴展且穩定的架構,在此基礎上逐步實施,是一個兼顧長遠發展與合理投入的最佳方式。
此外,分步實施還可以減少風險:前一階段的經驗教訓可以為下一階段提供有益的借鑒,從而使得數據倉庫的建設不斷完善,不斷發展。
2.從業務需求出發,結合先進的實現技術
和其他的應用系統相比,數據倉庫對于需求分析和系統設計等前期工作要求更高,其重要性也更加突出??梢哉f,分析和設計階段決定了數據倉庫最終的失敗。因為需求不明確、設計不合理造成的根本性缺陷是以后實施階段所無法彌補的。因此在分析和設計階段,對相關的業務部門和技術部門要進行詳細的調研,在用戶和開發人員之間的迭代和反饋是必須和重要的,它決定了數據倉庫最終的成功與否。
由于數據倉庫是面向業務分析的,所以最主要的需求應該從業務部門獲取和收集,因為數據倉庫最終是要服務于業務部門的。需求抓的不準,導致將來將無法解決業務部門的問題,這個數據倉庫項目就是失敗的,技術再先進也沒有用。這是衡量數據倉庫成敗與否的唯一尺度。
實施的過程中,最好能夠把行業專家的經驗,與企業現有的需求進行整合,以期得到一個更加全面的需求范圍,有利于適應將來業務的變化和擴展。
從技術的角度來講,必須建立一個可伸縮、可擴展、高性能的數據倉庫平臺,才能為將來不斷的完善、不斷發展打下一個良好的基礎;同時,由于數據倉庫項目要涉及多個業務系統,數據量非常龐大,所以本身的投入也是很大的,在保證系統高效穩定的前提下,盡量降低成本是非常重要的。
3.如何進行主題規劃
正如前面所講,建立數據倉庫需要長遠的規劃,我們建議企業“自底向上”地建立數據倉庫,并不意味著不需要在設計階段的長遠規劃。采用逐步積累的方式建立數據倉庫,其最大的問題是已有的主題是否有助于形成企業級的主題,數據加載模塊時候能夠重用等。數據倉庫的長遠規劃,并不僅僅是技術部門的事情,應當把數據倉庫的構建作為企業發展戰略的一個重要組成部分。
數據倉庫設計的第一步是主題的確定,從現在的情況看,主題的范圍太大實現不了,太小沒有意義,應該選擇相對獨立而且技術上可行的一些業務。例如客戶分析、產品分析、收入分析和市場分析等。因為這些分析與企業當前的業務運行聯系最緊密,通過它們,可以了解:
·哪個企業擁有哪些不同類型的客戶?
·哪些是給我最大收益的客戶?如何提升他們的價值?
·如何掌握新的競爭形勢下客戶的需求與行為?
·哪些業務最受歡迎,利潤最高?
·業務的分布如何?
·快速成長的新的收入來源有哪些?
·應收賬款、欠費情況如何?
·與其他同行競爭對手的結算金額占整個收入的比例?
·我的客戶是否打算選擇其他競爭對手?
·運營成本和收益?
·哪些市場活動是有成效的,收益多少?
在完成第一階段的實施后,可以開始第二階段的實施。第二階段主要是從市場營銷、資源管理、網絡管理、客戶服務等部分入手;第三階段可繼續擴展到財務、績效等更高層次的、全局性的財務、運營情況分析。這時候,所有的重要信息都已連成一體,CEO可以了解有關成本、利潤、市場營銷還有客戶發展趨勢等多方面的企業宏觀層面的決策信息,它們為定制戰略決策提供了充分的依據。決策的制定再也不是單憑經驗和感覺了。從而大大的提高了決策的質量,規避了風險。減少了決策失誤造成的巨大損失。這也正是數據倉庫高投資回報率的重要體現。
當然,在進行主體規劃的時候,必須重點強調的是:技術框架和系統設計必須從整個企業的角度來考慮,即使剛開始實施的時候是面向某個部門的。以電信企業為例,在進行“客戶”主題設計的時候,就必須考慮到同一用戶還有可能是長途電話、移動電話的用戶。因此在設計時如果同時考慮固定電話用戶,就不僅要解決不同系統的互聯問題,在不同系統中用戶數據的集成也將是一個巨大的挑戰。
4.領導層的參與和支持
數據倉庫是面向業務主題的分析型應用。它既需要業務部門的全力配合,又需要先進可靠的技術手段及良好的項目管理過程來實現。它涉及眾多的業務部門、系統開發部門、系統運維支撐部門等。在設計和實施階段需要不同部門的溝通和協作,是一個負責的系統工程。只有領導層從戰略的高度上認識到它的重要性,在項目實施過程中給與大力支持和配合,協調各部門資源,保證他們可以及時到位,全職投入才能取得項目的成功。所以數據倉庫項目又通常被稱為“一把手”工程。從這一點上看,建立一個企業級的數據倉庫,主要的障礙不在于技術,而是不同部門之間組織、協調的問題。而高層領導的大力推動和支持,無疑是解決這一問題的最有效的途徑。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25