
大數據遷移的五大陷阱和風險
計算機系統之間的數據傳輸或存儲格式從來就不是一個輕松的任務,特別是當它涉及結構化和非結構化的數據。
"復雜的數據遷移工作意味著超負荷運行和延遲都是很長常見的",Arvind Singh(以下簡稱辛格),芝加哥一家企業的數據解決方案提供商的聯合創始人兼CEO表達了以上觀點。
在《信息周刊》的一次電話采訪中,Arvind Singh概述了10個常見的數據遷移問題,其中包括五個陷阱和五個風險,以此警告企業應該竭力避免。
大數據遷移的五大陷阱
陷阱#1:未能吸引業務線和業務用戶開始。
當公司合并多個系統整合到一個--通常發生在兼并后--他們需要從確定正確的商業用途開始。
你需要確定誰知道和理解業務數據,"辛格說。
"誰是你業務的專家?這當然不是IT或系統集成商。"
換句話說,把那些數據使用精英搬進遷移項目。
畢竟,只有他們才能將那些操作系統玩轉一旦上線。
陷阱#2:沒有數據管理策略和組織結構。
"你已經將系統A的數據移動到系統B,但誰擁有管理結構?誰有權利在系統中創建、批準、編輯或刪除數據?"辛格問。
還有一些問題必須解決:你設置了數據管理了嗎?有一個業務流程來管理數據周期嗎?另外,你有數據管理員在公司嗎?
陷阱#3:在原始系統數據質量差。
公司經常意識不到一個"原有評估"是至關重要的數據遷移工作鋪墊。
"了解原始系統里的數據的質量是一個巨大的陷阱,但企業常常不愿意花足夠的時間,"辛格說。
必須要考慮的問題:現有的數據支持新用戶嗎?它缺少什么?你打算怎么做,你現在不能夠做什么?
一個詳細的評估讓企業能夠更容易地估計需要的工作量來成功地遷移原始數據。
陷阱#4:忽略驗證和定義業務規則。
你公司的業務和驗證規則可能不是最新的。
"難以讓人相信一個公司在達成業務規則時花了多短的時間,更不用說確保數據符合業務規則,"辛格說。
"換句話說,你認為你有一個業務規則,但是你的現有數據是否匹配,細致,或遵循這個規定?"
此外,審計人員需要確保數據從原始系統到新的系統是有效的,特別是當這個遷移涉及關鍵信息,如金融、庫存、和就業數據。
陷阱#5:未能驗證和測試數據遷移過程。
不要以為這是最后一步了。
你絕對絕對要確保在整個過程中你一直在驗證和測試,"辛格說。
必須要考慮的問題:你打算怎樣測試數據?誰將測試和評估? 誰將簽署它嗎?以及誰將是數據的最終消費者?
“這一過程必須貫穿項目的始終,但不幸的是公司通常"不花足夠的時間校準數據的測試和驗證”辛格說。
大數據遷移的五大風險
風險#1:被委托進行數據遷移項目的員工缺乏實戰經驗。
一個公司的員工可能非常擅長他們所做的事,但這并不意味著他們是在數據管理、遷移和治理是專家。
"他們是數據的創作者和消費者,但是他們并不是完全熟練運用工具、過程、服務、模板和加速器,"辛格說。
風險#2:你的團隊太依賴工具的開發工作。
這個問題往往是導致缺乏經驗的員工。一個數據遷移項目通常是IT部門的事,但可能并沒被專業訓練過。遷移工具使用不當最終會遷移了錯誤數據。"這是類似于把垃圾傳來傳去,"辛格說。
你的目標,當然是快速、可靠地傳輸數據。重要的是你如何運用數據遷移工具,和"你搭配的有什么樣的加速器和模板,"辛格說。
風險#3:交叉對象依賴性。
"我無法告訴你我有多少次坐在會議上,(客戶)說,"我們剛剛發現了一個全新的資料來源,我們甚至都不知道自己需要移動的',"辛格說。
交叉對象依賴常常很晚才被發現。一個復雜的項目可能會有60、70、甚至80個不同的數據對象中來自一百個左右的應用程序。
"當我們與客戶談生意時,我們尋找丟失的數據塊,或者相關數據,"辛格說。
事實上,交叉對象依賴性--并在后來發現新的數據來源的過程--是主要的風險,可以打亂你的遷移的時間表。
風險#4:試圖在一個大的上傳之后去上線。
這是一個災難,辛格說,因為你在假設一切都是完美的,你將能夠簡單地點擊一個按鈕,和所有的數據將負載得完美無瑕。 "這是個很大的風險,"他說。"你需要一個項目時間軸,復雜的,長期的測試負載的道路。"
風險#5:預算超支由于不適當的范圍或準備工作的欠缺。
這經常發生在,當一個組織認為它的系統集成商(SI)會照顧到這些細節。
"大多數系統集成商通常不處理數據只是說,'我將連接管道使原始數據移動到一個目標系統',"辛格說。
"在現實階段,我們可以調用到數據遷移項目,"他說,"人們說:'看,數據沒有捆綁在一起,我們無法進行用戶測試。'"
這個問題,當然,會導致成本超支和毀壞的時間表。
如今IT
面臨的最大挑戰之一,是風險評估。風險的度量和影響評估不是一門確切的科學,而是有工具、過程和原理,可用于確保組織很好地被保護,高級管理層消息靈通。在我們的Measuring
Risk: A Security Pro's
Guide測量風險中:一個安全專業人員的指導報告中,我們推薦工具來評估安全風險和提供一些想法供有效地將結果數據投入到業務中去。
數據分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
CDA數據分析師證書考試體系(更新于2025年05月22日)
2025-05-26解碼數據基因:從數字敏感度到邏輯思維 每當看到超市貨架上商品的排列變化,你是否會聯想到背后的銷售數據波動?三年前在零售行 ...
2025-05-23在本文中,我們將探討 AI 為何能夠加速數據分析、如何在每個步驟中實現數據分析自動化以及使用哪些工具。 數據分析中的AI是什么 ...
2025-05-20當數據遇見人生:我的第一個分析項目 記得三年前接手第一個數據分析項目時,我面對Excel里密密麻麻的銷售數據手足無措。那些跳動 ...
2025-05-20在數字化運營的時代,企業每天都在產生海量數據:用戶點擊行為、商品銷售記錄、廣告投放反饋…… 這些數據就像散落的拼圖,而相 ...
2025-05-19在當今數字化營銷時代,小紅書作為國內領先的社交電商平臺,其銷售數據蘊含著巨大的商業價值。通過對小紅書銷售數據的深入分析, ...
2025-05-16Excel作為最常用的數據分析工具,有沒有什么工具可以幫助我們快速地使用excel表格,只要輕松幾步甚至輸入幾項指令就能搞定呢? ...
2025-05-15數據,如同無形的燃料,驅動著現代社會的運轉。從全球互聯網用戶每天產生的2.5億TB數據,到制造業的傳感器、金融交易 ...
2025-05-15大數據是什么_數據分析師培訓 其實,現在的大數據指的并不僅僅是海量數據,更準確而言是對大數據分析的方法。傳統的數 ...
2025-05-14CDA持證人簡介: 萬木,CDA L1持證人,某電商中廠BI工程師 ,5年數據經驗1年BI內訓師,高級數據分析師,擁有豐富的行業經驗。 ...
2025-05-13CDA持證人簡介: 王明月 ,CDA 數據分析師二級持證人,2年數據產品工作經驗,管理學博士在讀。 學習入口:https://edu.cda.cn/g ...
2025-05-12CDA持證人簡介: 楊貞璽 ,CDA一級持證人,鄭州大學情報學碩士研究生,某上市公司數據分析師。 學習入口:https://edu.cda.cn/g ...
2025-05-09CDA持證人簡介 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度、美團、阿里等 ...
2025-05-07相信很多做數據分析的小伙伴,都接到過一些高階的數據分析需求,實現的過程需要用到一些數據獲取,數據清洗轉換,建模方法等,這 ...
2025-05-06以下的文章內容來源于劉靜老師的專欄,如果您想閱讀專欄《10大業務分析模型突破業務瓶頸》,點擊下方鏈接 https://edu.cda.cn/g ...
2025-04-30CDA持證人簡介: 邱立峰 CDA 數據分析師二級持證人,數字化轉型專家,數據治理專家,高級數據分析師,擁有豐富的行業經驗。 ...
2025-04-29CDA持證人簡介: 程靖 CDA會員大咖,暢銷書《小白學產品》作者,13年頂級互聯網公司產品經理相關經驗,曾在百度,美團,阿里等 ...
2025-04-28CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-27數據分析在當今信息時代發揮著重要作用。單因素方差分析(One-Way ANOVA)是一種關鍵的統計方法,用于比較三個或更多獨立樣本組 ...
2025-04-25CDA持證人簡介: 居瑜 ,CDA一級持證人國企財務經理,13年財務管理運營經驗,在數據分析就業和實踐經驗方面有著豐富的積累和經 ...
2025-04-25