
數據質量構建10誤區
關于高質量信息的價值,已有無數研究報告做了闡述,企業質量改進計劃也迅速躥紅,成為業界關注的焦點。 數據質量改進曾經是乏味無趣的工作,充斥著企業的后臺管理系統,但如今它是享有最高優先級的工作。
不過,值得注意的是,數據質量改進不僅僅是姓名與通訊地址的更正,這個問題的復雜性與企業的信息使用量成正比。
有10個誤區是熱衷于構建數據質量計劃的企業應加以防范的。
1. 使用災難性事件作為改進數據質量的驅動力
奇聞軼事很容易獲得上級管理層的認可,因為這些事件為他們提供了一個表現的機會―即更正其中的數據,從而成為“英雄”。 由此帶來的問題是,對于數據質量改進的關注度只能維持到發生下一次危機的時刻。 滿足一時之需,只能解決表面問題,無助于根除潛在隱患。
下面的列表將幫助你擬定一個可靠的價值主張,說明數據質量改進如何幫助企業高效地實現業務目標:
·找出糟糕的數據質量影響了哪些關鍵業務。
·將具體的成本與數據缺陷關聯起來,并使用數據缺陷發生頻率的函數計算總成本。
·使用相關業務術語量化上述影響。
·評估根除這些數據缺陷源頭所需要的成本。
·確定用來對數據質量實施持續監測與報告的關鍵度量指標。
評估改進后數據質量的投資回報率時需要格外注意,不要把那些只包含運營預算或收益百分比等不確切“行業數據”的商業案例擺到企業高管層的面前,他們是不會關注這樣的商業案例的。 擬定數據質量商業案例需要進行認真的調查研究,與業務領域專家進行討論,并且要穩健務實。
2. 把信息質量與管理數據的人關聯
在談論數據時,人們出于習慣會直接說好或糟糕。因此我們可能會在不經意間把“好”或“糟糕”的評價與管理數據的人聯系起來。
當你說某個數據庫的記錄比較糟糕時,數據庫的管理員可能會覺得你是沖著他來的。 因此,數據質量措施常常遭到抵制―因為數據所有者認為提供質量糟糕的數據會讓人覺得他們的個人績效很差。結果信息被保護起來。
為了避免此問題,必須消除信息質量的人格化特征。 在可用于評估業務規則符合度的聲明中,你要簡明扼要地說明業務期望,從而消除數據中的價值判斷。 反過來,這個方法提供了對信息有效性進行量化的方法,即運用意在鼓勵信息開放的相關業務指標對信息有效性進行量化。
3. 未能打造主動的工作氛圍
如果數據危機發生在被動的工作氛圍中,引發錯誤的數據先是被找出來、糾正,崩潰的流程又重新啟動,然后每個人都嘆了口氣,從恐慌中放松下來,直到下一次危機的爆發。但是,這不是一個合理的流程。原因在于未能將形成一個成熟的、主動應對問題的工作氛圍。在主動的工作氛圍里,相關人員會在信息流的最初階段就度量數據質量目標的符合度,從而在信息缺陷惡化為嚴重問題前發現這些缺陷。
以下原則可以幫助企業將被動的工作氛圍變得主動:第一,確定關鍵的業務數據質量預期;第二,清晰確定上述預期作為業務規則存在的身份;第三, 度量數據與所定義業務規則的符合度,從而提供關鍵數據質量指標。
4. 先采購軟件
雖然數據質量軟件工具是數據質量計劃中的關鍵組成部分,但在采購之前還是應該問一下以下問題:采購的動機是什么?目前的流程是什么?在提高數據質量計劃有效性方面有什么改進潛力?
成功的企業在獲得數據質量工具之前都會采取兩項重要措施。 首先,進行業務需求評估,了解企業內普遍存在的數據質量問題。團隊成員在企業內部收集各種需求和愿望,并根據所需對這些需求和愿望排定優先級,從而反映出業務采購需求。其次,為了在采購完成后盡快部署資源,成功的企業制定了所需技術的使用策略和使用流程。
5. 忽視數據
如今,企業通常都會管理千兆、兆兆規模的數據系統,并且數據的規模仍不斷增長。但是,由于缺少全面的數據分析,這些組織很難發現潛在的數據質量問題。 如果無法了解存在何種問題,改進數據質量又從何說起呢?
為了了解存在的問題,你需要將有效的分析、評估流程與數據剖析、數據標準化、數據匹配等工具結合使用。數據剖析工具可以幫助分析師發現妨礙業務目標達成的信息缺陷。
全面的數據分析有助于提高數據質量問題識別的效率,以及制定消除這些問題的規則。
6. 不了解員工行為
如果不能正確認識體系內員工的行為,世界上任何技術都無法消除數據質量問題。 你可能會遇到以下一些常見問題:
第一,如果沒有上游系統所有人的合作,數據倉庫管理員在控制輸入數據質量方面往往束手無策。 為了滿足數據倉庫級別嚴格的數據質量需求,需要從上游管理員處獲得額外的資源分配。 不幸的是,上游管理員會認為這種強加的需求不合理,因為他們所管理的應用并不會從期望的質量改進中直接獲益。
第二,在一組操作流程中尋找數據質量缺陷無異于揭發流程相關人員的工作低效。大家對于數據質量評估的自然反應就是,掩蓋與個人績效有關的任何潛在問題,而不是向別人暴露這些問題(以及任何可能的后果)。
第三,由接入呼叫中心員工收集的數據可以應用于多個應用程序。企業可以將其勞動報酬與工作量以及所收集數據的準確性掛鉤。
了解員工的行為對于構建數據質量計劃具有重要意義。 在潛在問題全面爆發之前,企業就應當采取積極主動的態度來應對這些問題。
7. 未能管理好主參考數據
如果企業未能準確定義業務術語,數據質量將會受到影響。在標準化常見業務術語的管理及其相應數據元素的表示方法中,如果不能保持精確就會引發問題。
為了避免發生問題,可以運用某個流程來鼓勵專業領域專家與信息架構師進行結構化合作。 企業可以從該方法中獲得兩方面的收益。首先,該方法幫助建立了常用術語庫,澄清了業務定義。其次,在它的指導下,建立了在元數據框架內集中管理這些定義的框架。
因此,你可以在業務規則符合度方面闡明數據質量預期。此外,你還可以獲得關于數據質量的認定斷言,作為企業知識在企業元數據框架內進行管理。
8. 將數據質量工作孤立在IT部門
說到底,數據質量主要還是與業務相關,如果讓IT員工負責數據質量計劃就大錯特錯了。 其結果就是支持數據質量措施的業務案例經常充滿大量技術內容,并且強調要購買工具,而不是推動與業務相關的可度量的質量改進。
即便是計劃得到批準,過分關注技術也會導致業務影響方面的評估被忽略掉。 更重要的是,人們會認為數據質量改進是一個成本中心而非利潤中心。
所以,企業要調整與數據質量所有權相關的思想過程。如果數據缺陷反映的是與業務預期不符而產生的業務影響,那確認這些預期的規則應該是業務客戶制定的。之后IT部門才可以參與部署工具,以確定哪些方面不符合預期。這樣就制造了IT與業務合作的機會。
9. 沒有儲備適合的專業人才
制定數據質量計劃是一項戰略性工作―其成功同時依賴于業務和技術專業人才。由于數據質量管理很大程度上,尤其是在企業級別,其性質是建議性的,因此數據質量計劃的作用就更為復雜。
不難想見,大家都期望一旦數據質量計劃啟動,數據質量就一定會有明顯的改善。流程工具間的緊密結合使問題更趨復雜。如果你認為數據質量管理員應當為一些行動負責,但是他卻不一定擁有實施這些行動所需的知識或權限,這就導致了潛在的兩難境地。這讓人不知該從何入手來解決問題。
構建數據質量計劃時,應該實施以下措施:
首先,在計劃開始時,招募一些在數據質量計劃管理方面有經驗的專業人士。這些人能抓住戰術上取得成功的機會,從而使計劃獲得戰略上的成功。
其次,邀請外部專家幫助啟動改進流程。 這樣做可以讓你的團隊明白,你們的問題不是特例,同時可以學習他人的最佳實踐。
然后,利用顧問的角色及內部流程,將數據質量改進的責任分攤到現有的信息管理部門。
最后,不要忘記實施有關策略和流程的培訓―尤其是要培訓如何使用所采購的工具。
10. 未能建立企業數據質量卓越中心
再開明的企業都曾犯過的錯誤是,不能抓住最佳實踐并將其移植到企業的各個層級。對于數據質量來說,與工具相關聯的數據如果沒有整合到卓越中心,其負面影響可能翻倍。
卓越中心是一個負責部署企業數據質量戰略的組織級工作小組。其職能包括制定指導原則,協助評估業務需求,推薦可采購的工具,創建充分利用這些工具的流程,并提供分享數據質量改進經驗的方法。建立卓越中心將帶來以下回報:
第一,標準化解決特定問題所需的方法和工具;第二,在軟硬件采購上實現規模經濟;第三,為數據質量改進提供業務模型;第四,將質量改進計劃所需投資分攤到不同部門;第五,記錄企業不同部門的最佳實踐,使每個人從共同的經驗中受益;第六,建立開發數據標準的論壇;第七,在工具和方法的使用方面組織專業培訓;第八,減少總的項目管理成本。
數據質量改進是結合了業務敏感性、高科技工具和良好定義流程的一個過程。 你也許認為自己遇到的問題與眾不同,實際上這些問題與很多其他企業所遇到的問題很相似。
數據質量主要還是與業務相關,如果讓IT員工負責數據質量計劃就大錯特錯了了,這不會推動與業務相關的可度量的質量改進。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25